Robert-Jan E

Leuk idee, leuk uitgevoerd. De opmerking over de blijvende beweging en de clustering deel ik. Wanneer ik een bericht van buiten naar het midden sleep vertrekt het langzaam weer naar buiten, terwijl ik dat juist verwacht had dat het in het midden zou blijven.

 

Ik zou wel een about samenews link maken. Dan weten mensen die het een interessant principe vinden waar ze moeten zijn ;)

Het systeem bepaalt op dit moment zelf waar de items uiteindelijk terecht komen. Maar ik zou versleepte items kunnen vastpinnen op hun positie, ga ik naar kijken.

Er komt nog een info-knop met achtergrond info. Dank je voor het meedenken!

Dank voor je toelichtingen Rob. Ik vind het echt een heel leuke toepassing met ook veel potentie naar mijn idee. Seb geeft daar al een mooi praktisch voorbeeld van.

Ik vind je toepassing een mooi voorbeeld dat me doet denken aan het gebruik van patroon herkenning, neurale netwerken, data mining, factor analyse. Allemaal technieken gericht op het zoeken en expliciteren van samenhang waarbij het altijd weer een heel vraagstuk is hoe de samenhang "zichtbaar" en begrijpelijk te maken.

Klopt, samenhang tonen in grote hoeveelheden ongestructureerde data is de crux van mijn verhaal.

Misschien zou je iets met kleur van de kleine venstertjes van de individuele nieuws items kunnen doen om samenhang manifester te maken. Ik zag dat je de tekst boven de nieuws items al iets laat variëren vanuit wellicht hetzelfde motief.

Of iets met de achtergrond kleur doen en deze verdelen naar gelang en clusters te onderkennen zijn.

 

Zomaar wat ideetjes! :)

 

Ja prima ideeen, dank je! Ik kan ook een lijntje trekken tussen de items die echt grote overlap hebben om zo de clustering wat explicieter te maken.

De kleur van de tekst geeft nu aan hoe recent het bericht is, blauw is relatief oud, wit is heet van de naald.

Ik denk dat er sowieso een misverstand over de clustering is:

 

- Ik verwachtte dat berichten over hetzelfde thema uit verschillende media bijeen geclusterd waren;

 

- Jij bedoelt echter dat berichten die enigszins thematisch verbonden zijn, bijeen geclusterd zijn. Dus Afghanistan-verkiezingen-vingers. Maar doordat je set data erg breed is en thematisch allerlei berichten bevat, is dat niet/amper te zien dat je actief clustert.

Wat de gadget in feite doet is alle meest recente nieuwsberichten van diverse bronnen opsnorren (RSS) en vervolgens deze op inhoud proberen te clusteren. Het is dus een totaaloverzicht. Ik ga wel proberen berichten met gelijkenis op een of andere manier meer te benadrukken.

Waarschijnlijk zie je het beter wanneer je bijvoorbeeld alleen berichten over de kredietcrisis hebt, of over Afghanistan. Nu zie ik direct naast elkaar iets over een drugszaak in Mexico, een nieuwe controller van Microsoft, een bericht over Blackwater en een bericht over Noord- en Zuid-Korea. Dat is natuurlijk niet echt een thematisch sterk cluster :)

Het kan prima dat berichten die niks met elkaar te maken hebben naast elkaar staan, ze moeten toch ergens een plek krijgen. Het gaat er om dat berichten die wel een gelijkenis hebben in ieder geval in elkaars buurt verschijnen.

 

kan je dit ook toepassen op bestanden die bijvoorbeeld op je eigen computer te staan? om een concreet voorbeeld te geven; ik ben bezig met een scriptie over acquisitiefraude. In de loop van de tijd heb ik allerlei documenten, artikelen, whitepapers e.d. verzameld over dit onderwerp. binnen de verschillende artikelen komen sub thema's aan bod: advertentiefraude, rechtbankverslagen, interviews met slachtoffers enz. Soms zijn er verbanden tussen de verschillende soorten informatie die ik door de hoeveelheid waarin deze beschikbaar is niet altijd direct kan overzien. omdat jouw systeem blijkbaar rangschikt op basis van inhoude (vergelijkbare woorden) zou ik me kunnen voorstellen dat dit in een onderzoeksituatie buitengaan handig is om snel te zien of er enig verband is tussen informatie (gerelateerd aan de afstand die tussen verschillende artikelen)

 

Als dit kan zie ik er zeker iets in. om het door te trekken: grote onderzoeken met honderden personen waar verslagen van zijn gemaakt clusteren waardoor in korte tijd inzichtelijk wordt waar bijvoorbeeld aandachtsgebieden liggen.

 

Ik zal dan de verschillende bestandsformaten (word,excel,pdf,etc) moeten kunnen inlezen. Verder moet ik mijn patroonherkenning aanpassen/uitbreiden voor hele documenten, nu analyseer ik alleen korte stukjes tekst. Maar ik zie geen echte grote obstakels om dit te kunnen realiseren.

Vraagjes

Ik zie dat na plm. 30-40 seconden de news items stabiliseren en stil komen te staan. Gebeurd er in die periode iets (bijvoorbeeld aan de hand van kernwoorden, begrippen e.d. zoeken de news items hun meest geschikte plek ten opzichte van elkaar) of is dit uitsluitend een visuele feature?

De gelijkenis tussen elk paar berichten is op dat moment al bepaald, maar nu wordt via een simulatie van aantrekkende krachten (elastiekjes) en afstotende krachten (berichten onderling) de precieze positie van elk bericht bepaald.

In je menu heb je categorieën onderkend op basis waarvan een selectie van news items kan worden gemaakt. Is dat de enige vorm van clustering die je gebruikt of hanteer je op de achtergrond nog aanvullende regels voor clustering?

Heb je al eens overwogen om het geheel in 3D af te beelden of heb je er bewust voor gekozen om dit juist niet te doen?

Het is opvallend dat niemand de clustering opvalt, hier moet ik echt wat aan doen. Berichten van gelijke strekking liggen in elkaars buurt, maar ik zal kijken of ik de clustering veel explicieter kan maken.

Ik heb inderdaad ook al in 3D lopen experimenteren, maar was nog niet blij met het resultaat. Ga ik nog verder naar kijken!

Ik zie de clustering ook niet. Ik dacht dat je een nieuwsbericht naar het midden moest slepen en dat dan de berichten zich er omheen gaan clusteren ofzo op basis van relevantie.

 

Wat storend is imo is dat het beeld blijft bewegen. Probeer die animatie wellicht te behouden maar dan zodra alle op z'n plek staat snel stil te zetten. Dat leest gewoon gemakkelijker ;)

Wat betreft slepen klopt het dat gerelateerde berichten het gesleepte bericht zullen volgen. Alle berichten zijn als het ware met elastiekjes met elkaar verbonden, waarbij gelijkende berichten een heel kort elastiekje hebben en niet-gelijkende een langere.

De snelheid en duur van bewegingen kan ik makkelijk aanpassen. Sterker nog, ik kan het de gebruiker met een schuifknop zelf laten bepalen (in een volgende versie).

Waar zit hem de clustering van nieuwsberichten over hetzelfde thema dan? Ik zie nu allerlei berichtjes in een (ogenschijnlijk) willekeurig geheel over de pagina verspreid, maar zie geen clustering. Stel, ik wil alles lezen uit diverse bronnen over 'e'en onderwerp, hoe tover ik dat te voorschijn? Ik mis denk ik iets... :)

De clustering zit 'm erin dat gelijksoortige berichten bij elkaar in de buurt staan. Ik zie b.v. berichten over Afghaanse verkiezingen bij elkaar staan, en een clustertje met Hurricane Bill berichten en Gadaffi berichten.

Wat nog ontbreekt is dat ik clustertjes inzichtelijk maak, b.v. aan de hand van een kader.

 

Toch vind ik het zelf wel een hindernis om weer additionele software te moeten installeren, alleen om te kijken of jouw idee wat is. Is er niet een demootje te maken als youtube filmpje?

 

Youtube filmpje is lastig omdat het op 640x480 resolutie echt onleesbaar wordt. In ieder geval een screenshot toegevoegd, beter dan niks :)

hmm, niet de reactie die ik verwacht had Rob.

 

Ik was in de veronderstelling dat het visuele aspect erg belangrijk was voor je.... ???

Nou snap ik jou niet helemaal. Ik las in jouw reactie dat voor jou deze grafische aanpak niet werkt en je liever je nieuws in een gerangschikt lijstje ziet. Ik kan dat prima begrijpen, vandaar mijn korte reactie. Of mis ik nou iets?

Hoi Rob,

 

Hoewel leuk bedacht, ontstaat er een soort wolk met wel 60 nieuwsberichten. Teksten lopen in elkaar over en echt handig zoeken naar wat interessant is, is wel erg lastig zo.

 

Ik heb mijn nieuws liever per topic en overzichtelijk gerangschikt...mij te onrustig, zo'n wolk van bewegende nieuwsberichten.

Grafisch wel leuk gedaan, maar ik klik niet door naar nieuwsberichten om te zien wat er geklusterd is op dat onderwerp....

 

groet

Joost

Ha Joost, duidelijk dank je!

 

...

(website zal om Microsoft's Silverlight installatie vragen als die nog niet aanwezig is...)

...

 

 

Vergeet het dan maar wat mij betreft. Op mijn Linux bak (en ik neem aan op Apples) gaat dat niet werken.

Voor Apple is wel degelijk Silverlight beschikbaar.

Ik weet niet of het met Moonlight 2.0 (Silverlight for Linux) werkt, kan het helaas ook niet uitproberen.

Omschrijving van je concept:

Visuele gadget om nieuws te lezen en te zien hoe diverse bronnen berichten over dezelfde nieuws onderwerpen.

Omschrijf wat je tot nu toe zelf gedaan hebt hiervoor:

Ik heb een web applicatie gemaakt die de laatste nieuws items van allerlei bronnen in een grafische omgeving toont en berichten over hetzelfde onderwerp 'elkaar opzoeken'.

http://samenews.com

(website zal om Microsoft's Silverlight installatie vragen als die nog niet aanwezig is...)

Werkt het beste in hoge schermresolutie en in full-screen mode.

Wat is de uitdaging die je met je concept op wil lossen:

Gewoon een leuke, speelse gadget om te zien hoe nieuws onderwerpen vanuit verschillende hoek belicht worden.

Hoe is dit anders dan bestaande concepten:

Google News (o.a.) doet nieuws clustering maar je krijgt meteen een hele waslijst van gerelateerde berichten, niet echt uitnodigend, vind ik.

SameNews toont alle berichten in een organisch netwerk, waarbij per onderwerp hooguit een paar nieuws berichten worden getoond.

Wat voor feedback hoop je te krijgen:

Ik vind dit wel leuk, maar vinden jullie dat ook?

Is dit leuk om een keer te zien, of zou je terugkomen naar samenews.com?

Zijn de nieuws teksten goed genoeg leesbaar en zijn de kleuren handig gekozen?

Wat valt er te verbeteren?

Doorontwikkelen of toch maar weer serieuze administratieve software gaan bouwen? ;-)

Inspirerende TED talk van Kevin Kelly over het verleden en de toekomst van het web:

Hij vertelt mooi over de evolutie van het web:

linken van computers -> linken van webpages -> linken van data -> AI semantisch web

Ga dat horen en zien, echt de moeite waard!

 

De theorie als geheel omvat zo'n beetje alle hypotheses en mogelijke verklaringen voor evolutie, (plaatselijke) soortvorming, alsook voor het hele ontstaan van de diversiteit aan organismen.

 

Maar:

Geheimnisvoll am lichten Tag

Läßt sich Natur des Schleiers nicht berauben,

Und was sie deinem Geist nicht offenbaren mag,

Das zwingst du ihr nicht ab mit Hebeln und mit Schrauben.

Goethe, Faust

;)

Ik heb dit jaar, als software development zzp'er, voor het eerst WBSO subsidie aangevraagd en de aanvraag is gehonoreerd. Ik combineer betaald werk voor derden met een stuk eigen R&D werk (inderdaad ca 500 uur per jaar). Het betaalde werk levert mij tot nu toe genoeg op om in mijn R&D project ook echt de dingen te doen die ik interessant vind en waar ik in geloof, en dat geeft veel voldoening. De WBSO aftrek is dan een prettig steuntje in de rug. Dus eenmanszaken en subsidies gaan wat mij betreft prima samen!

Ik ben tot nu toe zeer onder de indruk van Wolfram Alpha, je ziet hem met de dag beter worden. Op twitter zijn de vorderingen te volgen via Wolfram_Alpha.

Ik ben met name benieuwd wanneer ze de low-level Data API vrij gaan geven, zodat je vanuit je eigen applicatie deze enorme, intelligente dataset ook direct kunt gebruiken!

Ik was blij verrast toen ik hoorde dat er voor 20 november een TED event in Amsterdam staat gepland. Het is zeg maar een locale versie van de officiele TED.

Voor details zie http://tedxams.ning.com/

Voor wie TED nog niet kent:

"TED stands for Technology, Entertainment, Design. It started out (in 1984) as a conference bringing together people from those three worlds. Since then its scope has become ever broader.

The annual conference now brings together the world's most fascinating thinkers and doers, who are challenged to give the talk of their lives (in 18 minutes). "

Om aan te haken op Ewout en een beetje rakend aan mijn vakgebied:

 

Ken je het project "Beelden voor de toekomst"? en hoe zou je Elasticvision hier inzetten?

 

Frans

Globaal gezegd, Elastic Vision kan een bron analyseren (nu beeld en tekst, later geluid, video) en karakteristieke patronen er uit destilleren. Op basis van de gevonden patronen kan Elastic Vision bronnen vergelijken en de gelijkenissen tussen bronnen visueel weergeven. Een zoekresultaat is niet een platte lijst van gevonden bronnen maar een organisch netwerk waarbij de afstand tussen twee bronnen de gelijkenis representeert.

Kortom : Rob, vertel ons eens hoe het verder gaat met je ontwikkeling van ElasticVision : waar zit je ? Bezig geld op te halen ? Technisch verder te ontwikkelen ? Kunnen we je helpen met testen van je software/site ?

Ik heb subsidie gekregen voor het doorontwikkelen van mijn patroonherkennings- en visualisatie-module, dus de insteek is behoorlijk technisch.

Ondertussen probeer ik boven water te krijgen hoe en waar ik deze technieken het best in kan zetten. Daar kan ik jullie input heel goed bij gebruiken!

Het valt mij op dat er steeds meer informatie op ons af komt, dat die informatie meestal metadata-loos is en dat de gemiddelde kantoormedewerker vaak veel tijd verliest bij het opzoeken van informatie (b.v. relevante documenten en e-mails) over een bepaald onderwerp omdat de informatie gesegmenteerd is (b.v. Outlook, Office docs). Ik denk dat dit handiger kan.

Zou je hier ook een lokale versie van kunnen maken? En heb je ook wel eens overwogen om EXIF-informatie mee te laten wegen?

 

Voor de enthousiaste beeldenverzamelaar, beeldbanken en beeldarchieven zou dit erg handig zijn. Eventueel ook voor medische toepassingen (mri's, ct's en echo's). Ik gebruik nu Adobe Bridge om door mijn bestanden heen te gaan en met het gebruik van filters kom je een heel eind in het organiseren van beelden. Maar hoe organischer en natuurlijker, hoe beter.

De combinatie met nieuwe ontwikkelingen als Surface en Reactivsion lijkt me ook erg interessant. Als je dit op een goede manier verder ontwikkelt kan het in erg veel applicaties geintegreerd worden. Eventueel ook voor andere soorten bestanden zoals film en geluid.

Misschien niet allemaal relevant wat ik noem, misschien ook wel eerder genoemd, maar je bent nou eenmaal met een mooi product bezig. Dat maakt enthousiast.

De tool op mijn website wordt locaal op de pc geinstalleerd alhoewel het lijkt alsof hij vanaf het web draait (via click-once technologie). Ik heb me nog niet beziggehouden met EXIF metadata, omdat ik me juist heb gericht op ongestructureerde, tag-loze informatie objecten.

Ik denk niet dat ik de concurrentie aan wil gaan met allerlei foto-organiseer tools, daar zijn er al zo veel van. In feite is mijn plaatjeszoeker slechts een proof-of-concept. Ik heb de neiging me meer te gaan richten op office-achtige toepassingen, zoals het automatisch clusteren van informatie objecten van diverse types (word/excel/pp, e-mail etc). Op die manier krijg je bij een zoekopdracht een visueel netwerk van direct-gerelateerde en indirect-gerelateerde documenten en e-mails te zien gebaseerd op inhoud en eventuele metadata.

Maar goed, ik beschouw dit nog steeds als de brainstormfase en ik ben erg blij met jullie input. :)

Ik heb een aanvraag voor WBSO subsidie in voorbereiding en de beoordeler bij senternovem heeft door laten schemeren dat de kans groot is dat dit gaat lukken. Dit betekent dat ik komend jaar waarschijnlijk een stuk meer gas kan gaan geven op Elastic Vision , en daar verheug ik me erg op ;D

Ik heb een weekje geleden 'eindelijk' een S&O verklaring gekregen van SenterNovem voor mijn Elastic Vision project. Door deze subsidie kan ik dit jaar tussen de projecten in-opdracht door weer een stap gaan maken, hopelijk in de goede richting 8)

Het Elastic Vision project richt zich kortweg op de zelf-organisatie van informatie, zonder tussenkomst / structurering door een gebruiker. Ook ben ik zeer geinteresseerd in emergente eigenschappen (eigenschappen op een niveau'tje hoger dan het informatie object zelf) die bij zelf-organisatie naar boven kunnen komen.

Zie www.elasticvision.com voor een voorbeeld van een 'slimme' plaatjeszoeker die het principe van zelf-organisatie hanteert.

 

Verandert het je perspectief op je onderneming als je zulke ervaringen gehad hebt, die bewustzijnstoestand kent en als het ware 'een kijkje achter de schermen hebt gehad'?

'Een kijkje achter de schermen' vind ik een goeie omschrijving!

Ik ervaar het niet als een andere bewustzijnstoestand. Het is simpel de normale waaktoestand maar dan even zonder dat 'irritante' gekissebis van het denken. Niks bijzonders en ik meen dat iedereen dit soort momenten heeft, bewust of onbewust.

Het heeft wel veranderd hoe ik in het leven sta, iets meer relativerend en minder identificerend dan voorheen. Dat geldt dan ook voor de eenmanszaak. Verder ben ik als software developer voornamelijk met dat denkend vermogen in de weer.

 

Mooi geformuleerd, maar wat betekent dit? Wat is 'en-en' georienteerd? Voorbeelden? En wie maakt die verhaaltjes? En waarom?

 

Kortom, mijn denkvermogen zegt hier niets mee te kunnen ;D

 

Pragmatisch roep ik zelf: realiteit is wat ik waarneem. Keep it simple. Het aardige hiervan is dat iedereen zijn eigen realiteit heeft (volgens sommigen: creeert), die deels gemeenschappelijk is en deels uniek.

 

Voorbeeld: zwaartekracht. Voor iedereen is dat deel van zijn realiteit.

 

Ander voorbeeld: Vorige levens. Zelf heb ik geen waarneming daarover en ken ik geen feiten die dat bevestigen, dus zijn vorige levens geen deel van mijn realiteit. Ik weet dus niet of vorige levens bestaan. Anderen zeggen dat wel te kunnen bepalen.

Het denkvermogen kan er dus ook niks mee, daar gaat het juist om. Maar heel soms vallen er gaten in dat denken waardoor er een ander perspectief naar voren treedt, dat ik het 'en-en' perspectief noem. De paradoxen waar in ieder geval mijn denkvermogen niet mee om kan gaan, verdwijnen dan als sneeuw voor de zon. Alsof dat denkvermogen iets in de weg zit, wat af en toe zijn gezicht mag laten zien. Moeilijk in woorden uit te drukken, de beleving is concreet.

Ik ben het helemaal met je eens dat de realiteit is wat je waarneemt.

 

Als de realiteit betekenisloos is, dan is deze betekenisloos noemen ook niet juist. Dit kent het de betekenis 'betekenisloos' toe en duidt op de afwezigheid van iets en schept zo alsnog een dualistische perceptie... dat is het probleem als je denkvermogen zich gaat bemoeien met het uitdrukken van iets, dat daar eigenlijk aan voorbijgaat ;D

Daarnaast is ons denkvermogen wel in staat om paradoxen te faciliteren en is ook de 'en-en' gedachte een product van het denkvermogen en niet van 'de realiteit', want ook 'realiteit' is een product van het denkvermogen.

 

Wat betreft je eerste opmerking, helemaal mee eens. Zodra je woorden gebruikt stap je al in dat dualisme. 'Denkvermogen' en 'realiteit' als separate begrippen behandelen is al 'fout' want ze zijn niet te scheiden.

Dat 'en-en' perspectief is geen gedachte, althans bij mij, maar juist het tijdelijk stilvallen van het denkvermogen. Mijn denkvermogen kan verdomde slecht met paradoxen omgaan en raakt er alleen maar gefrustreerd van :)

'Realiteit' als begrip is inderdaad een product van het denkvermogen. Maar het gaat mij niet om het begrip maar om hetgene waar het naar verwijst.

Of spiritualiteit uit de hersenen ontspruit ('rationele' invalshoek) of de bron is van alles ('spirituele' invalshoek) zijn slechts fictieve keuzemogelijkheden voor ons denkvermogen. De realiteit zelf is betekenisloos en blanco, en ontstijgt dergelijke causale verbanden.

Ons denkvermogen is erg 'of-of' georienteerd en eist in feite dat 1 van de invalshoeken waar is en de andere onwaar.

De realiteit is veel meer 'en-en' georienteerd en laat deze invalshoeken probleemloos naast elkaar hun kunstje doen, omdat het slechts verhaaltjes zijn.