2D / 3D visueel nieuwsoverzicht met Elastic Vision

[Robert-Jan E]

Hi,

 

Ik steek de laatste tijd als software engineer ZZP'er aardig wat tijd in R&D op het gebied van het automatisch clusteren en visueel presenteren van informatie. We krijgen steeds meer ongestructureerde informatie uit allerlei hoeken op ons af en ik zoek naar mogelijkheden om deze informatie op een prettige manier aan de gebruiker te presenteren

 

De huidige tool genaamd "Elastic Vision" vist allerlei nieuws items van verschillende (vrij te definieren) web-bronnen en toont deze items als een plaatje met (of zonder) een titel in een visueel nieuws overzicht. De patroonherkenningsmodule zorgt er voor dat berichten over het zelfde onderwerp (afkomstig van verschillende webfeeds) visueel geclusterd worden, op basis van tekstuele overlap van de items. Als de gebruiker op het plaatje klikt, navigeert de tool naar de originele webpagina met het nieuws item.

 

De bijlage bevat een screenshot van de tool in actie. De tool bevat voor-gedefinieerde nieuws-categorieen (zoals headlines, sport, entertainment, business etc.) maar de gebruiker is helemaal vrij zijn eigen categorieen (met bijbehorende webfeeds) te definieren.

 

Ik ben eigenlijk op zoek naar mensen die met me mee willen denken over de toepassingsmogelijkheden van het automatisch clusteren en visualiseren van informatie uit diverse bronnen, zoals gebeurd in deze tool. Alle andere feedback is uiteraard ook welkom.

 

Mochten jullie de tool zelf uit willen proberen, hij is te downloaden (45 Mb groot):

 

http://www.indranet.nl/files/elasticvision.exe

 

Vriendelijke groet,

Robert-Jan Elias

 

 

[Jeroen Bakker]

Hoe gaat dat clusteren precies in z'n werk? Gebeurt dat met een grammaticale database en iets als een thesaurus, of is het een woordensplitter/matcher (of bijvoorbeeld de keyword detector van Yahoo)?

 

En hoe definieer je de nieuwsbronnen (hoe voeg je nieuwe toe), enkel via RSS?

 

Ik vind het een leuk initiatief!

[Robert-Jan E]

Het clusteren van nieuwsberichten gebeurt met keyword matching, dus nog niks grammaticaals. De tool kan trouwens ook clusteren op visuele content (dus de plaatjes zelf). Zie bijlage voor b.v. het resultaat van een image web search op 'Van Gogh'.

 

De tool bevat een simpele editor om nieuwscategorieen te definieren en hier webfeeds (url's) aan te koppelen. Deze url's worden 'real-time' uitgeplozen om de nieuws items er van af te vissen. Je kunt ook vanuit de webbrowser in de tool naar een willekeurige webpagina navigeren en deze vervolgens aan een nieuwscategorie(b.v. 'sport') toevoegen.

[Jeroen Bakker]

Hoe gaat dat 'uitpluizen' dan precies in z'n werk? Dat klinkt namelijk wel interessant, maar moet erg gebruiksvriendelijk zijn om goed te werken denk ik?

[frans74]

Het eerste waar ik aan denk is een alternatief voor het afbeeldingen zoeken van Google.

Vaak vind ik een 'net niet' plaatje op een bepaald onderwerp maar zoek ik me vervolgens wezenloos om een vergelijkbaar plaatje te vinden dat beter matched.

Op deze manier weergegeven lijkt me dat veel makkelijker.

 

Vind het een leuk idee, en het trekt me op een of andere manier. Alles staat of valt wel met de kwaliteit van de resultaten en de onderlinge samenhang

 

frans

[Merkava]

Jaren geleden heb ik zoiets gezien als alternatief voor het doorzoeken van een beeldendatabase, daarna nooit meer iets van gehoord.

 

Is het ook mogelijk om deze software aan de kant van de webserver te installeren zodat een bezoeker niet zelf software hoeft te installeren ? Als een bezoeker dan ook nog zelf de zoekcriteria in kan vullen en er een 3d beeld ontstaat dat gebaseerd wordt op relevantie en samenhang van de zoektermen met eventuele nog een voorkeursinstelling voor weging dan krijg je leuke dingen. :)

[Robert-Jan E]

@Jeroen:

 

De gebruiker definieert eenmalig zijn nieuwsgroepen en webfeeds. Zo voegt hij b.v. een groep 'Sport' toe met als webfeeds 'www.telesport.nl' en 'www.sportwereld.nl'.

 

Als hij daarna in de tool de groep 'Sport' selecteert, dan zal de tool de webpagina's behorende bij deze groep ophalen, de nieuws items er af plukken en dit tonen in een visueel overzicht.

 

@frans74:

 

De tool gebruikt 'onderwater' de Yahoo image search. Het enige wat de tool zelf doet is de plaatjes (visueel) onderling vergelijken en op basis hiervan de resultaten clusteren.

 

 

 

 

[Marielle Winarto]

Eerste reactie, nog zonder ermee gespeeld te hebben: Vanwaar zowel voorgedefinieerde categorieën als content-gebaseerde clustering? Als je clusteringsalgoritme goed is, komen hier als het goed is natuurlijke clusters uit. Je hebt dan de categorieën niet meer nodig.

 

Let ook op de schaalbaarheid. In je voorbeeldplaatjes met tekst lopen de teksten al door elkaar. Als je even wat meer items toevoegt, wordt alles onleesbaar.

[Robert-Jan E]

@Merkava:

 

Ik ben inderdaad bezig geweest met een web-variant van de tool, maar die kent wat technische beperkingen vanwege security issues en het ontbreken van 2D/3D hardware-acceleratie. Het is mogelijk een desktop- en web-variant te maken, waarbij de web-variant een beperktere functionaliteit biedt.

 

De gebruiker moet inderdaad met zoek/sorteer criteria kunnen werken waar de 2D/3D view direct op reageert. Ik heb ook al wat lopen stoeien met foto folders, waarbij de tool de foto's op visuele inhoud clustert, of op basis van andere karakteristieken (zoals datum, tags etc.).

[Robert-Jan E]

@Marielle:

 

De categorieen (groepen) heb ik juist toegevoegd vanwege schaalbaarheid, zodat niet alle items in 1 overzicht komen. De nieuwsbronnen zijn ook vrijwel altijd gecategoriseerd (headlines, sport, entertainment, business etc.). Maar als je wilt kun je ook alles in 1 grote groep stoppen.

 

De grote truc is inderdaad om de 2D view niet te druk te maken. Ik heb ook een 3D view waar alle items op een rond-draaiende cylinder zijn 'geplakt'. Dan zie je op een gegeven moment slechts een deel van de berichten. Verder kun je met de muis inzoomen/uitzoomen en het werkblad manipuleren. De gebruiker kan zelf bepalen hoeveel webfeeds er in een bepaalde groep zitten en zo de overzichtelijkheid redelijk goed bewaken.

[Christine]

Het clusteren van nieuwsberichten gebeurt met keyword matching, dus nog niks grammaticaals.

 

Maar daar kan ik je denk ik wel helpen. Heb je ook een versie die het op mijn linux computer doet? Waar heb je het in geschreven?

 

 

[Cor van Prooyen]

Als leek ... ken ik wel deze : http://taggalaxy.de

 

 

 

Cor

[Christine]

Als leek ... ken ik wel deze : http://taggalaxy.de

 

Dat is wel een mooie blanko pagina.

[Jeroen Bakker]

Dat is wel een mooie blanko pagina.

 

Als je Flash zou hebben zou je iets heel moois zien (een alternatieve Flickr-view van bij elkaar getagde foto's).

 

Maar daar gaat Robert-Jans techniek niet over toch? Gaat het om de grafische schil, of de onderliggende nieuwsvinding/clustering?

[Christine]

Dat is wel een mooie blanko pagina.

 

Als je Flash zou hebben zou je iets heel moois zien (een alternatieve Flickr-view van bij elkaar getagde foto's).

 

Maar daar gaat Robert-Jans techniek niet over toch? Gaat het om de grafische schil, of de onderliggende nieuwsvinding/clustering?

 

Ik heb wel flash, maar in Ubuntu is die iets kritischer dan onder windows, heb ik het idee. Het gaat om de clustering, maar op een blanko pagina zie ik geen graphics en geen clustering. Bovendien vind ik het grafische deel uist wel aardig, als UI.

 

 

[Christine]

Als je Flash zou hebben zou je iets heel moois zien (een alternatieve Flickr-view van bij elkaar getagde foto's).

 

Herstart van FF helpt. Heel mooi gedaan, zo'n bol van relevante foto's.

[Robert-Jan E]

Het clusteren van nieuwsberichten gebeurt met keyword matching, dus nog niks grammaticaals.

 

Maar daar kan ik je denk ik wel helpen. Heb je ook een versie die het op mijn linux computer doet? Waar heb je het in geschreven?

 

 

 

Het is een .NET C# applicatie met een Direct3D visual. Helaas dus niet voor linux op het moment :-*

[Robert-Jan E]

Dat is wel een mooie blanko pagina.

 

Als je Flash zou hebben zou je iets heel moois zien (een alternatieve Flickr-view van bij elkaar getagde foto's).

 

Maar daar gaat Robert-Jans techniek niet over toch? Gaat het om de grafische schil, of de onderliggende nieuwsvinding/clustering?

 

Tag Galaxy ziet er zeer fraai uit en werkt op basis van tags die aan de Flickr foto's hangen. Het lijkt me dus een grafische schil om Flickr heen.

 

De kern van Elastic Vision is feitelijk de patroonherkenningsmodule die de onderlinge gelijkenis van 'informatie objecten' bepaalt. Die objecten hoeven niet altijd nieuwsberichten te zijn, maar ook foto's (met/zonder tags), teksten, geluiden en ik ben ook met beurskoerzen in de weer geweest.

 

De Elastic Vision grafische schil toont eigenlijk alle onderlinge gelijkenissen binnen een set van informatie objecten (in dit geval nieuwsberichten) in 1 visueel netwerk, waarbij de nabijheid van 2 objecten een maat is voor de gelijkenis van deze objecten.

[Jeroen Bakker]

Je had misschien de links in mijn signature al bekeken, maar vanuit Infovester/LegalAlert.nl hebben we wel wat raakvlakken (vandaar ook mijn vroeg hóe je de clustering doet) en zou ik wel interesse hebben om eens te zien wat jouw techniek oplevert op onze artikelenbestand (waar we al zeer veel mee kunnen, dus het zou precies zó aangeleverd kunnen worden als dat nodig is voor optimale vertoning). Kom je wel eens in de buurt van Putten toevallig? :)

[Christine]

Het is een .NET C# applicatie met een Direct3D visual. Helaas dus niet voor linux op het moment :-*

Daarom programmeer ik in java, dat werkt altijd :-)

 

[frans74]

 

@frans74:

 

De tool gebruikt 'onderwater' de Yahoo image search. Het enige wat de tool zelf doet is de plaatjes (visueel) onderling vergelijken en op basis hiervan de resultaten clusteren.

 

Hij vergelijkt ze visueel? Dus op termijn kan ik met zo voorstellen, als de politie een foto online zet van een onbekende verdachte, dan kan jouw software, op basis van de visuele herkenning (keywordmatch uitschakelen) in hyves/linkedin/plaxo/fokforum etc. het bijbehorende internetprofiel van de dader en dus zijn id matchen? :)

[Henri Kroeze]

Dit is een interessant product!

 

Mij is de werking (ook) nog niet helemaal duidelijk. Waar ik wel brood in zie, is de visualisatie van relaties in (grote) databases, dus hoe zijn de tabellen met elkaar verbonden, welke relaties hebben ze en onder welke 'groep' vallen ze.

 

[Robert-Jan E]

Je had misschien de links in mijn signature al bekeken, maar vanuit Infovester/LegalAlert.nl hebben we wel wat raakvlakken (vandaar ook mijn vroeg hóe je de clustering doet) en zou ik wel interesse hebben om eens te zien wat jouw techniek oplevert op onze artikelenbestand (waar we al zeer veel mee kunnen, dus het zou precies zó aangeleverd kunnen worden als dat nodig is voor optimale vertoning). Kom je wel eens in de buurt van Putten toevallig? :)

 

Ik heb je site bekeken en zie inderdaad ook de raakvlakken. Als je ergens een voorbeeld-setje van artikelbestanden voor me hebt, kan ik eens kijken hoe elastic vision deze artikelen clustert. Het aanleveren in plain text is voor mij het makkelijkst, maar xml of html is ook ok. Ik woon zelf in Haarlem, maar mocht het resultaat hoopvol zijn dan kom ik wel een keertje langs in Putten.

[Robert-Jan E]

Het is een .NET C# applicatie met een Direct3D visual. Helaas dus niet voor linux op het moment :-*

Daarom programmeer ik in java, dat werkt altijd :-)

 

 

Je hebt gelijk, Java met OpenGL zou in vele opzichten een betere keus zijn. Ik heb echter als software developer gekozen voor .NET software ontwikkeling omdat de markt hier meer om vraagt, en, niet onbelangrijk, de ontwikkeltools van Microsoft ondertussen een hele prettige manier van werken bieden.

[Robert-Jan E]

 

@frans74:

 

De tool gebruikt 'onderwater' de Yahoo image search. Het enige wat de tool zelf doet is de plaatjes (visueel) onderling vergelijken en op basis hiervan de resultaten clusteren.

 

Hij vergelijkt ze visueel? Dus op termijn kan ik met zo voorstellen, als de politie een foto online zet van een onbekende verdachte, dan kan jouw software, op basis van de visuele herkenning (keywordmatch uitschakelen) in hyves/linkedin/plaxo/fokforum etc. het bijbehorende internetprofiel van de dader en dus zijn id matchen? :)

 

Google heeft een tijdje geleden een scandinavisch bedrijf opgekocht dat gespecialiseerd is in het herkennen van gezichten., de naam ben ik even kwijt. Dus straks kun je inderdaad in het cafe met je mobiel een fotootje schieten van een leuke dame en google vragen wie ze is, wat haar hobbies zijn etc... ;)

 

Gezichtherkenning is een aparte tak van sport binnen de patroonherkennning en elastic vision zal zich hier niet specifiek op richten...

[Robert-Jan E]

Dit is een interessant product!

 

Mij is de werking (ook) nog niet helemaal duidelijk. Waar ik wel brood in zie, is de visualisatie van relaties in (grote) databases, dus hoe zijn de tabellen met elkaar verbonden, welke relaties hebben ze en onder welke 'groep' vallen ze.

 

 

Bedoel je de statische relaties tussen database tabellen of de dynamische relaties tussen individuele records in een database?

 

Ik denk dat elastic vision zich met name op die dynamische relaties richt. Het leuke is dat niet alleen de directe relaties van een item zichtbaar worden, maar ook alles wat indirect gerelateerd (via-via) is.