2D / 3D visueel nieuwsoverzicht met Elastic Vision

[Robert-Jan E]

Hi,

 

Ik steek de laatste tijd als software engineer ZZP'er aardig wat tijd in R&D op het gebied van het automatisch clusteren en visueel presenteren van informatie. We krijgen steeds meer ongestructureerde informatie uit allerlei hoeken op ons af en ik zoek naar mogelijkheden om deze informatie op een prettige manier aan de gebruiker te presenteren

 

De huidige tool genaamd "Elastic Vision" vist allerlei nieuws items van verschillende (vrij te definieren) web-bronnen en toont deze items als een plaatje met (of zonder) een titel in een visueel nieuws overzicht. De patroonherkenningsmodule zorgt er voor dat berichten over het zelfde onderwerp (afkomstig van verschillende webfeeds) visueel geclusterd worden, op basis van tekstuele overlap van de items. Als de gebruiker op het plaatje klikt, navigeert de tool naar de originele webpagina met het nieuws item.

 

De bijlage bevat een screenshot van de tool in actie. De tool bevat voor-gedefinieerde nieuws-categorieen (zoals headlines, sport, entertainment, business etc.) maar de gebruiker is helemaal vrij zijn eigen categorieen (met bijbehorende webfeeds) te definieren.

 

Ik ben eigenlijk op zoek naar mensen die met me mee willen denken over de toepassingsmogelijkheden van het automatisch clusteren en visualiseren van informatie uit diverse bronnen, zoals gebeurd in deze tool. Alle andere feedback is uiteraard ook welkom.

 

Mochten jullie de tool zelf uit willen proberen, hij is te downloaden (45 Mb groot):

 

http://www.indranet.nl/files/elasticvision.exe

 

Vriendelijke groet,

Robert-Jan Elias

 

 

[Henri Kroeze]

De statische relatie. Deze ligt vast in een paar tabellen. (tabel x linkt aan y met relatie z)

 

Overigens zie ik ook een mooie toepassing voor het ontsluiten van documenten.... Gebaseerd op de 'properties' en 'TOC' van ieder document, en ook de fysieke locatie op de fileserver.

Soort visuele DMS.

[Robert-Jan E]

De statische relatie. Deze ligt vast in een paar tabellen. (tabel x linkt aan y met relatie z)

 

Overigens zie ik ook een mooie toepassing voor het ontsluiten van documenten.... Gebaseerd op de 'properties' en 'TOC' van ieder document, en ook de fysieke locatie op de fileserver.

Soort visuele DMS.

 

Database systemen zoals sql server kunnen de statische relaties tussen tabellen wel grafisch weergeven, dus wat is de meerwaarde van een tool als elastic vision?

 

Wat betreft documenten: klopt, is zeker interessant. Je kiest als gebruiker het cluster-criterium en de tool past dynamisch de clustering van de documenten aan.

 

Ik dacht ook aan het clusteren van email. Het kost me af en toe aardig wat tijd om een emailtje terug te vinden omdat ik 'm toch in een andere mailfolder had gezet dan verwacht. De Find functie van een Outlook is dan vaak ook niet echt prettig. Natuurlijk kan een goede folderstructuur een hoop problemen voorkomen maar automatische clustering op content zou het terugvinden van mails ook een stuk kunnen vergemakkelijken, omdat gerelateerde mails die in verschillende mailfolders zijn beland toch visueel geclusterd worden.

[Henri Kroeze]

 

Database systemen zoals sql server kunnen de statische relaties tussen tabellen wel grafisch weergeven, dus wat is de meerwaarde van een tool als elastic vision?

Als je bijvoorbeeld niet in MySQL werkt en dus niet beschikt over dergelijke tools... Dan is het wel handig... ::)

Er zijn meer systemen op deez aard dan alleen MySQL... Om een hint te geven, wij werken op de AS400 met DB2. Daar is grafisch inzicht in dergelijke dingen nog geen gemeengoed.

[Robert-Jan E]

 

Als je bijvoorbeeld niet in MySQL werkt en dus niet beschikt over dergelijke tools... Dan is het wel handig... ::)

Er zijn meer systemen op deez aard dan alleen MySQL... Om een hint te geven, wij werken op de AS400 met DB2. Daar is grafisch inzicht in dergelijke dingen nog geen gemeengoed.

 

Ok prima, toch denk ik dat het visueel tonen van de inhoud van een database nog interessanter is. Met name voor ingewikkelde SQL queries met inner-joins kan het visuele resultaat een hoop duidelijkheid bieden.

[Henri Kroeze]

Ok, nog een tipje van de sluier: de SQL zit in 'onze' applicatie in de source code verweven. Discussies of dat slim is, doen niet ter zake. Nu missen wij (en onze klanten) ieder overzicht, vandaar de zoektocht om toch in ieder geval de relaties zichtbaar te krijgen...

[Robert-Jan E]

Henri, bedoel je dat je vanuit de software dynamisch database tabellen en foreign key relaties aanmaakt? En dat het uiteindelijk onduidelijk is welke tabellen en relaties allemaal door de software zijn aangemaakt?

[Henri Kroeze]

Nee. De tabellen zijn 'vast'. De source code bevat de code (zelfs lang niet altijd SQL) om de tabellen te raadplegen.

 

We zijn nu bezig om deze relaties op te slaan in een paar tabellen zodat we in ieder geval die 'geembedde' relaties inzichtelijk te krijgen. Is dat klaar, dan moet de boel nog grafisch getoond gaan worden

 

 

Over het weergeven van documenten: Bij veel dienstverlenende bedrijven, worden de documenten gearchiveerd via klant/project. Dat is prima.

Echter, heb je een gemeenschappelijk 'iets' dat wordt onderhouden (in ons geval, een software pakket), dan bevat bijna ieder project document informatie van deze software. Het wordt voor het specifieke project gemaakt, maar de software komt naderhand toch terecht in de 'core' applicatie. Dit laatste wordt niet apart gedocumenteerd.

Ik zoek nu een manier om relaties binnen documenten te vinden die de klant/project structuur overstijgen. Dus op basis van content (welk object, welke module, welke tabellen) die te vinden is via de properties en TOC.

[Robert-Jan E]

Op zich is het niks bijzonders om naast een hierarchische structuur ook dwarsverbanden te hebben die door de hele hierarchie heen gaan.

 

Als je jouw documenten software-matig uitleest en de dwarsverbanden (objecten, modules, tabellen) uit de properties en TOC vist, dan kan je dit vervolgens ook wel visualiseren. Misschien dat elastic vision dan niet de meest logische keuze is, maar een pakket als MindManager kan je prima software-matig aansturen en zo een prachtig relationeel visueel schema laten genereren met lijntjes tussen de gerelateerde items.

[Robert-Jan E]

Ik heb een klein filmpje on-line gezet van mijn slimme plaatjeszoeker.

 

Voor de geinteresseerden, hij is te vinden op:

http://www.elasticvision.com

 

Bye,

Robert-Jan

[Ewout Wolff]

Hey Robert-Jan,

 

Dit is erg gaaf. Ik schat zo'n honderd jaar geleden zag ik via het internet een paar voorbeelden van grafische browser, zoals de aquabrowser (uit NL), Inxight en dergelijke. (op deze pagina meer voorbeelden daarvan).

 

Nu ik toch bezig ben: check deze presentatie voor een pletora aan interessante links.

Zoals :

On-line Library of Information Visualization Environments

Mark Logic lijkt een bedrijf, dat zich in dit soort data representatie heeft gespecialiseerd

Information visualisation

An atlas of cyberspace

Web 3d consortium

Visionary websites

 

Op een of andere manier voelde deze manier van browsen door grote aantallen gelaagde data zeer natuurlijk aan.

 

Ik zou zo'n representatie erg goed kunnen gebruiken voor: een overzicht krijgen in de mensen die ik follow bij Twitter bijvoorbeeld, of mijn contacten bij Linkedin en ga zo maar door met nog een flink aantal social networks. Niet alleen om beter overzicht te krijgen: ook om de dingen/mensen te ontdekken, die ik wel zou moeten kennen, maar tot nu toe nog niet gecontact heb.

 

Hopelijk heb je er wat aan.

 

 

[Robert-Jan E]

Hoi Ewout,

 

Bedankt voor je links, een aantal daarvan kende ik al maar er zat ook wat voor mij onbekend spul tussen. Idee is inderdaad om gebruiker goed overzicht te geven van de samenhang van informatie objecten (plaatjes, mensen, documenten, noem maar op) zonder dat er directe, harde relaties tussen deze objecten hoeven te liggen.

 

De neiging van veel software nu is om informatie (vaak handmatig) te categoriseren, of te wel in hokjes te stoppen. Mijn aanpak richt zich meer op de zelf-organisatie van informatie op basis van de samenhang van de content zelf. Bij nieuwe binnenkomende informatie past het informatie netwerk zich dynamisch aan (zoals je kan zien in mijn plaatjeszoeker filmpje).

 

Ik heb een aanvraag voor WBSO subsidie in voorbereiding en de beoordeler bij senternovem heeft door laten schemeren dat de kans groot is dat dit gaat lukken. Dit betekent dat ik komend jaar waarschijnlijk een stuk meer gas kan gaan geven op Elastic Vision , en daar verheug ik me erg op ;D

 

Robert-Jan

[captain]

Ik gebruik voor het organiseren van mijn netwerk ook een dergelijke visualisatietool. Voor veel mensen hier waarschijnlijk ook erg handig...

 

 

www.thebrain.com

[Robert-Jan E]

Dank je voor de tip. Ik heb 'm geinstalleerd, hij doet me erg aan MindManager denken.

[Robert-Jan E]

Ik heb een aanvraag voor WBSO subsidie in voorbereiding en de beoordeler bij senternovem heeft door laten schemeren dat de kans groot is dat dit gaat lukken. Dit betekent dat ik komend jaar waarschijnlijk een stuk meer gas kan gaan geven op Elastic Vision , en daar verheug ik me erg op ;D

 

Ik heb een weekje geleden 'eindelijk' een S&O verklaring gekregen van SenterNovem voor mijn Elastic Vision project. Door deze subsidie kan ik dit jaar tussen de projecten in-opdracht door weer een stap gaan maken, hopelijk in de goede richting 8)

 

Het Elastic Vision project richt zich kortweg op de zelf-organisatie van informatie, zonder tussenkomst / structurering door een gebruiker. Ook ben ik zeer geinteresseerd in emergente eigenschappen (eigenschappen op een niveau'tje hoger dan het informatie object zelf) die bij zelf-organisatie naar boven kunnen komen.

 

Zie www.elasticvision.com voor een voorbeeld van een 'slimme' plaatjeszoeker die het principe van zelf-organisatie hanteert.

[Erik Kroes]

Zou je hier ook een lokale versie van kunnen maken? En heb je ook wel eens overwogen om EXIF-informatie mee te laten wegen?

 

Voor de enthousiaste beeldenverzamelaar, beeldbanken en beeldarchieven zou dit erg handig zijn. Eventueel ook voor medische toepassingen (mri's, ct's en echo's). Ik gebruik nu Adobe Bridge om door mijn bestanden heen te gaan en met het gebruik van filters kom je een heel eind in het organiseren van beelden. Maar hoe organischer en natuurlijker, hoe beter.

De combinatie met nieuwe ontwikkelingen als Surface en Reactivsion lijkt me ook erg interessant. Als je dit op een goede manier verder ontwikkelt kan het in erg veel applicaties geintegreerd worden. Eventueel ook voor andere soorten bestanden zoals film en geluid.

Misschien niet allemaal relevant wat ik noem, misschien ook wel eerder genoemd, maar je bent nou eenmaal met een mooi product bezig. Dat maakt enthousiast.

[Ewout Wolff]

Kortom : Rob, vertel ons eens hoe het verder gaat met je ontwikkeling van ElasticVision : waar zit je ? Bezig geld op te halen ? Technisch verder te ontwikkelen ? Kunnen we je helpen met testen van je software/site ?

[Frans Sijtsma]

Om aan te haken op Ewout en een beetje rakend aan mijn vakgebied:

 

Ken je het project "Beelden voor de toekomst"? en hoe zou je Elasticvision hier inzetten?

 

Frans

[Frans Sijtsma]

Hoi Rob,

 

Heb je tool maar even voorgelegd aan een groep mensen die redelijk goed weet waar ze het over hebben.

 

Zie dit topic op archief20.ning.com

 

Groet

Frans

 

PS. Voor de volledigheid even het verzoek, maar dat snap je zelf ook wel neem ik aan, bij positieve of geïnteresseerde reacties niet meteen in de telefoon te klimmen en acquisitiegesprekken gaan voeren svp.

[Robert-Jan E]

Zou je hier ook een lokale versie van kunnen maken? En heb je ook wel eens overwogen om EXIF-informatie mee te laten wegen?

 

Voor de enthousiaste beeldenverzamelaar, beeldbanken en beeldarchieven zou dit erg handig zijn. Eventueel ook voor medische toepassingen (mri's, ct's en echo's). Ik gebruik nu Adobe Bridge om door mijn bestanden heen te gaan en met het gebruik van filters kom je een heel eind in het organiseren van beelden. Maar hoe organischer en natuurlijker, hoe beter.

De combinatie met nieuwe ontwikkelingen als Surface en Reactivsion lijkt me ook erg interessant. Als je dit op een goede manier verder ontwikkelt kan het in erg veel applicaties geintegreerd worden. Eventueel ook voor andere soorten bestanden zoals film en geluid.

Misschien niet allemaal relevant wat ik noem, misschien ook wel eerder genoemd, maar je bent nou eenmaal met een mooi product bezig. Dat maakt enthousiast.

 

De tool op mijn website wordt locaal op de pc geinstalleerd alhoewel het lijkt alsof hij vanaf het web draait (via click-once technologie). Ik heb me nog niet beziggehouden met EXIF metadata, omdat ik me juist heb gericht op ongestructureerde, tag-loze informatie objecten.

 

Ik denk niet dat ik de concurrentie aan wil gaan met allerlei foto-organiseer tools, daar zijn er al zo veel van. In feite is mijn plaatjeszoeker slechts een proof-of-concept. Ik heb de neiging me meer te gaan richten op office-achtige toepassingen, zoals het automatisch clusteren van informatie objecten van diverse types (word/excel/pp, e-mail etc). Op die manier krijg je bij een zoekopdracht een visueel netwerk van direct-gerelateerde en indirect-gerelateerde documenten en e-mails te zien gebaseerd op inhoud en eventuele metadata.

 

Maar goed, ik beschouw dit nog steeds als de brainstormfase en ik ben erg blij met jullie input. :)

 

 

[Robert-Jan E]

Kortom : Rob, vertel ons eens hoe het verder gaat met je ontwikkeling van ElasticVision : waar zit je ? Bezig geld op te halen ? Technisch verder te ontwikkelen ? Kunnen we je helpen met testen van je software/site ?

 

Ik heb subsidie gekregen voor het doorontwikkelen van mijn patroonherkennings- en visualisatie-module, dus de insteek is behoorlijk technisch.

 

Ondertussen probeer ik boven water te krijgen hoe en waar ik deze technieken het best in kan zetten. Daar kan ik jullie input heel goed bij gebruiken!

 

Het valt mij op dat er steeds meer informatie op ons af komt, dat die informatie meestal metadata-loos is en dat de gemiddelde kantoormedewerker vaak veel tijd verliest bij het opzoeken van informatie (b.v. relevante documenten en e-mails) over een bepaald onderwerp omdat de informatie gesegmenteerd is (b.v. Outlook, Office docs). Ik denk dat dit handiger kan.

[Robert-Jan E]

Om aan te haken op Ewout en een beetje rakend aan mijn vakgebied:

 

Ken je het project "Beelden voor de toekomst"? en hoe zou je Elasticvision hier inzetten?

 

Frans

 

Globaal gezegd, Elastic Vision kan een bron analyseren (nu beeld en tekst, later geluid, video) en karakteristieke patronen er uit destilleren. Op basis van de gevonden patronen kan Elastic Vision bronnen vergelijken en de gelijkenissen tussen bronnen visueel weergeven. Een zoekresultaat is niet een platte lijst van gevonden bronnen maar een organisch netwerk waarbij de afstand tussen twee bronnen de gelijkenis representeert.