Extreme compressie

[Ron Berk]

Bij toeval kwam ik enige tijd geleden op het idee voor een nieuwe manier van compressie van data.

Deze manier staat totaal los van alle huidige compressie methoden en zou vele malen efficienter zijn. In mijn berekeningen kom ik uit op een bestand van 1TB wat te comprimeren is tot slechts enkele MB's.

 

Tijdens het ontwikkelen van het algoritme had ik even een moment van bezinning en vroeg mezelf af wat de impact van deze vinding zou zijn?

 

Vandaar mijn vraag aan jullie, hoever zouden deze gevolgen gaan?

 

Ik denk zelf aan de mogelijkheid dat werkelijk alles kan worden opgeslagen met de huidige capaciteit. Maar wat gebeurd er met de hele hardware branche? Een DVD waar duizend films op passen (zonder kwaliteitsverlies). En wat gebeurd er met het internet?

 

Over het algoritme kan ik nog weinig zeggen omdat ondanks dat de eerste versie mislukt is, ik nog steeds mogelijkheden zie om een werkend model te ontwikkelen. Het is logisch dat dit voor veel mensen direct afgedaan zal worden als onzin (we kennen allemaal het verhaal van Jan Sloot en Philips). Data reproduceren uit niets (zeer weinig) is onmogelijk en ook wiskundig te onderbouwen. Zonder de methode uit de doeken te doen zal niemand dit dan ook geloven, vandaar dit ik me nu op de 'etische' kant wil richten.

 

Ik zie namelijk zelf nog steeds mogelijkheden om dit te ontwikkelen, maar wat zouden de gevolgen zijn als het daadwerkelijk lukt?

[Jeroen Bakker]

(we kennen allemaal het verhaal van Jan Sloot en Philips)

 

Nou ja, ik zou nog steeds zeggen: lees De Broncode en je ziet wat de gevolgen kunnen zijn.

[R.I.P. | Peter Bonjernoor]

Los van dat je verschrikkelijk rijk zou worden als je het goed beschermt? Revolutionair.

 

Maar zonder de discussie over haalbaarheid wordt het een redelijk zinloze excercitie om het over de gevolgen te hebben. Er is al een draadje waar het hele Jan Sloot verhaal enorm afgebrand is, en de kans is zeker aanwezig dat we hier hetzelfde zullen meemaken als je niet op een of andere manier aannemelijk kunt maken dat dit een realistisch verhaal is... ;)

[Ron Berk]

Nou ja, ik zou nog steeds zeggen: lees De Broncode en je ziet wat de gevolgen kunnen zijn.

Ik ken dat boek niet, maar dit gaat over de gevolgen voor Jan Sloot zelf denk ik? Zo niet, bedankt voor de tip, dan zal ik deze eens aanschaffen.

[Jeroen Bakker]

De Broncode gaat over het hele verhaal eromheen: de mensen, de reacties, de vervolgstappen (en uiteindelijk natuurlijk het einde met de dood van de uitvinder). Wel een aanrader dus.

[Ron Berk]

Los van dat je verschrikkelijk rijk zou worden als je het goed beschermt? Revolutionair.

 

Maar zonder de discussie over haalbaarheid wordt het een redelijk zinloze excercitie om het over de gevolgen te hebben. Er is al een draadje waar het hele Jan Sloot verhaal enorm afgebrand is, en de kans is zeker aanwezig dat we hier hetzelfde zullen meemaken als je niet op een of andere manier aannemelijk kunt maken dat dit een realistisch verhaal is... ;)

Overigens denk ik zelf ook nog steeds dat het vrijwel onmogelijk is, maar door bepaalde inzichten begreep ik plots dat er een kans is dat het wel haalbaar is. De ontwikkeling hiervan heeft echter nog tijd nodig aangezien het behoorlijk complex is. De kans dat het uiteindelijk niet mogelijk is acht ik zelf groter dan andersom.

 

Daarom wil ik dit topic dan ook alleen beperken tot de gevolgen hiervan en niet de techniek zelf. Mocht het tzt lukken dan kom ik daar uiteraard wel op terug.

 

Tijdens dit alles vroeg ik mezelf echter af of het wel verstandig was om door te gaan met de ontwikkeling. De gevolgen zijn moeilijk te overzien en zouden mogelijk niet enkel positief kunnen zijn. Vandaar dit draadje.

[R.I.P. | Peter Bonjernoor]

Mocht het tzt lukken dan kom ik daar uiteraard wel op terug.

Fair enough, maar dat geldt dan voor mij ook. Succes!

[Merkava]

Video over het web genereert een gigantische hoeveelheid data.

Het zou erg prettig zijn als dat aanzienlijk verlaagt kan worden.

Met compressie wordt niet alleen het web relatief veel sneller zonder dat we de infrastructuur aan hoeven te passen.

Het heeft ook veel invloed op onze hardware, bijvoorbeeld een telefoon die nu met 64 GB al behoorlijk opslag heeft kom je met jouw verhaal ineens op de huidige vele TB's uit, server farms kunnen dan ineens veel meer aan, enz enz.

 

 

Anderen halen terecht het Jan Sloot verhaal aan.

Lees die discussie op HL eens en ook wat er op Wikipedia staat over Jan Sloot.

Het heeft lang geduurd maar mensen beginnen eindelijk te snappen dat er minder combinaties voor film titels op zijn geheugenkaartjes mogelijk waren dan er het aantal bioscoopfilms dat toen beschikbaar was.

 

Ik geef jou daarom het volgende mee.

Stel je weet video enorm te comprimeren tot slechts enkele MB's

Wat gebeurt er als ik naar films ga kijken met random gegenereerde sleutels, krijg ik dan naast veel vreemde beelden ineens toevallig het 20.00 uur journaal van 2016 te zien? Of het vertrek van een nieuwe missie naar Mars in 2053 of die film die verloren ging in 1953 toen de opslagloods afbrande?

[Raoul K]

Door eigen ervaring geleerd, dat je met software het beste verdiend als het beveiligd kan worden. Na de techniek zou ik persoonlijk nog veel tijd besteden om het algo fatsoendelijk te "verstoppen" en dan niet in themida of zo :)

[Ron Berk]

Het idee staat los van Sloots idee met keys, al wist niemand volgens mij precies wat sloot van plan was. Wel een erg mooi verhaal over Sloot, ik zal dat boek echt eens opzoeken. Lijkt me razend interessant.

 

Het zou voor het internet inderdaad een enorme impact hebben, dat ben ik met je eens. I.p.v. bestaande capaciteit te verkleinen, zou je juist meer kunnen met je huidige capaciteit. Als we dit doortrekken naar de hardwarebranche dan zou dit dus ook niet negatief hoeven uit te pakken, deze zal niet plots faliet gaan.

 

In feite komen we in de toekomst toch wel op het punt dat de opslagcapaciteit wellicht duizende malen groter zal zijn dan we nu hebben. Met deze vinding zou het echter een enorme sprong zijn i.p.v. geleidelijke groei.

[Frans Sijtsma]

Ik denk dat je o.a. deze HL-er erg blij zou maken.

 

Daarnaast heeft het ook nog milieuvoordelen

 

Frans

[Christine]

Het idee van Sloot kon niet werken, dat is eenvoudig aan te tonen. Hij had een waanidee, hij heeft mock prototypes gebouwd waarvan mensen onbedoeld dachten dat het "the real thing" was, en toen was hij gevangen in zijn eigen net. Vandaar de hartaanval aan het eind.

 

Soms is compressie van data niet mogelijk zonder verlies van data. Ik denk dat je voor iedere vorm van compressie een bestand kunt samenstellen dat met die methode niet te comprimeren is. Bovendien is er een theoretische ondergrens aan compressie. Je kunt niet verder comprimeren dan het aantal bits dat je nodig hebt om de variatie in je data te beschrijven.

[Henny van der Pluijm]

Mensen, op het gevaar af weer afgebrand te worden, ga ik het nog een keer proberen uit te leggen.

 

. Geen van jullie weet wat Jan Sloot beweerd heeft

 

. Wat jullie denken dat Jan Sloot beweerd heeft, is afkomstig uit het boek De Broncode van Eric Smit en is versterkt door de twee documentaires van Netwerk over dat boek.

 

. Het boek De Broncode en dus ook de 2 documentaires waren in technisch opzicht desinformatie. De technische gedeelten kloppen niet en hebben nooit geklopt. De bewering van een compressiefactor van zoveel miljoen of miljard is nooit door Jan Sloot geuit en is pure fictie.

 

. Wat Jan Sloot beweerd heeft over zijn vinding kan niemand precies navertellen, maar de enige nog bestaande bronnen daarover zijn zijn octrooiaanvraag en een interview tussen Eric Smit en Roel Pieper waarin een tipje van de technische sluier wordt opgelicht.

 

. Die twee bronnen zijn echter voldoende om te begrijpen wat Jan Sloot ongeveer gebouwd heeft en wat het basisprincipe was achter zijn benadering van codering.

 

. Ik zeg codering omdat het geen compressie is, maar codering.

 

. Een vrij accurate weergave van de benadering-Sloot is beschreven in mijn eigen artikel in het blad De Ingenieur in een editie voorjaar 2008.

 

. De verkleining van bestanden met de Sloot-methode (via codering) werkt, alleen werkt de methode naar alle waarschijnlijkheid niet in een netwerkomgeving waarbij bestanden worden gestreamd. Ik heb dat niet uitgetest, maar het is theoretisch al niet te ontwerpen. De Sloot-methode heeft alleen gewerkt in gecontroleerde standalone-omgevingen, maar is daardoor door de ontwikkelingen (internet) ingehaald.

 

. Verkleinen en streamen tegelijk was van cruciaal belang om de methode in een internetomgeving toe te passen. Dat is nooit gelukt en daarom zullen we er waarschijnlijk nooit meer iets van horen.

 

Maar laat alsjeblieft eens een keer die onzin ophouden dat Sloot gesproken zou hebben over verkleiningsfactoren van zoveel miljoen of zoveel miljard, want dat is kolder. Sloot was allang dood op het moment dat Eric Smit met zijn interviews begon en de journalist heeft geen technische achtergrond en heeft die "informatie" van mensen zonder technische know how. Het is een meer dan uitstekend boek om te lezen en daarom - en vanwege de rol van Pieper - is het een bestseller geworden. Maar dat aspect van het verhaal is desinformatie en altijd desinformatie geweest. Eric Smit heeft zich gewoon vergist.

 

Als je het verhaal van Sloot wil begrijpen, moet je dat eerst begrijpen.

 

Wie geinteresseerd is in het artikel dat in De Ingenieur over dit onderwerp is verschenen, moet mij maar mailen of PM''en. '

 

 

 

[Jeroen Bakker]

Henny, je mist het punt van waarom naar De Broncode wordt verwezen. Niet om welles/nietus over zijn theorie te discussiëren, maar om de topicstarter een richting op te wijzen van wat hij zou kunnen verwachten qua interesse mocht hij een wezenlijk andere compressietechniek hebben bedacht.

[Henny van der Pluijm]

Henny, je mist het punt van waarom naar De Broncode wordt verwezen. Niet om welles/nietus over zijn theorie te discussiëren, maar om de topicstarter een richting op te wijzen van wat hij zou kunnen verwachten qua interesse mocht hij een wezenlijk andere compressietechniek hebben bedacht.

 

 

TS is van harte welkom om mijn artikel op te vragen en te lezen waar dat verhaal in technisch opzicht over ging in plaats van een boek te lezen dat in technisch opzicht desinformatie is.

 

 

 

[Jeroen Bakker]

Tijdens het ontwikkelen van het algoritme had ik even een moment van bezinning en vroeg mezelf af wat de impact van deze vinding zou zijn?

 

Vandaar mijn vraag aan jullie, hoever zouden deze gevolgen gaan?

 

Het gaat TS helemaal niet om de technische discussie, maar over de impact/gevolgen. Een indruk dáárvan staat wél mooi in De Broncode.

[Henny van der Pluijm]

Doet niet terzake, Jeroen. Als je de gevolgen van iets wil begrijpen, moet je eerst weten wat dat "iets" is.

In de Broncode staat dat dus niet.

 

[Hans van den Bergh]

In de Broncode staat dat dus niet.

Nu is dat verhaal al een jaar of tien oud, er niet verteld wat het in technische zin precies was (werd er niet gespeculeerd over het gebruiken van het kleurenspectrum?), maar er werd in mijn herinnering wel degelijk iets verteld over wat dat 'iets' kon betekenen, mij staat iets bij van het kunnen opslaan van alle muziekcd's of alle films op één schijfje, de uitwerking van de businesscase naar de opbrengstprognoses etc... Dat kan ook betekenis hebben voor de gevolgen die TS graag een beetje zou willen in schatten.

Wat mij betreft, dus een terechte verwijzing naar dat verhaal.

 

Succès en groet,

 

Hans

[Christine]

We zouden Roel Pieper kunnen vragen wat Sloot nu precies claimde. Die moet het weten want die is er op in gegaan.

 

Wat ik schreef als veronderstelling over hoe Sloot zichzelf in z'n eigen net ving is gebaseerd op een val waar ik zelf diverse malen in ben getrapt. Je gaat iets bouwen, je weet precies hoe dat moet, maar je mist nog wat componenten, dus fake je die in je eerste prototype, dan blijkt uit het commentaar van mensen dat ze dat faken niet begrepen hebben, en voor je het weet durf je het niet meer te vertellen. Dan denk je "dat los ik tijdig op" en in mijn geval is dat altijd min of meer gelukt, maar ik kan me goed voorstellen dat het ook wel 's niet lukt.

[Henny van der Pluijm]

Nu is dat verhaal al een jaar of tien oud, er niet verteld wat het in technische zin precies was (werd er niet gespeculeerd over het gebruiken van het kleurenspectrum?), maar er werd in mijn herinnering wel degelijk iets verteld over wat dat 'iets' kon betekenen, mij staat iets bij van het kunnen opslaan van alle muziekcd's of alle films op één schijfje,

 

Hans, dit is dus de desinformatie. Het is een voorbeeld van hevige mediavertekening omdat deze claims uitsluitend op hearsay van technische leken zijn gebaseerd. Er ligt geen technische onderbouwing aan ten grondslag en kan in de documentatie van Sloot ook niet worden gevonden.

 

de uitwerking van de businesscase naar de opbrengstprognoses etc... Dat kan ook betekenis hebben voor de gevolgen die TS graag een beetje zou willen in schatten.

Wat mij betreft, dus een terechte verwijzing naar dat verhaal.

 

De wilde opbrengstprognoses die werden gemaakt, zijn het accurate deel van het verhaal.

 

Om dit te begrijpen, moet je begrijpen dat het niet nodig is om een nieuwe verkleiningstechnologie uit te vinden die met een factor zoveel miljard verkleint om toch iets te hebben dat commercieel bijzonder aantrekkelijk kan zijn. De verkleiningsfactor van Sloot lag in de orde van een 10-voud of 20-voud (even uit mijn hoofd) TEN OPZICHTE VAN (en dit is cruciaal) de op dat moment bekende compressiemethoden.

 

Dan kom je dus op een verkleining met een factor 300 tot 1000, en dat was zeker in die tijd een enorme doorbraak. De belangstelling van investeerders voor de methode was dus begrijpelijk. Het probleem bleek uiteindelijk dat de technologie niet te streamen was. (Referentiedatabase was dynamisch, maar misschien wordt dat te technisch).

 

Anyway, dat verhaal is idd 10 jaar geleden in 1999/2000 en als we de situatie vandaag erbij roepen, is het grootste verschil misschien wel dat de waardering voor willekeurig welke technologie veel lager ligt dan destijds. Een ander fundamenteel verschil is dat de mogelijkheid tot een beursgang in Nederland of de VS nu zo goed als verdwenen is, terwijl een IPO op de Nasdaq de reden was dat het verhaal in een stroomversnelling raakte en de grote Amerikaanse investeerders - mede via Pieper - erbij betrokken raakten.

 

Kortom, de pressie op de uitvinder en zijn naaste omgeving, het grote geld en de koortsachtigheid zoals die in het boek beschreven worden, zouden zich vandaag de dag niet voordoen, althans niet in die mate. Qua zakelijk succes kun je als je hard je best doet en erg veel geluk hebt, anno 2010 op zijn best tot dezelfde hoogte stijgen als de jongens van Layar, die nu internationaal gaan doorbreken met augmented reality, een technologie die nu in de investeerderswereld erg hip is.

 

Dat is overigens niet verkeerd, maar niet in de verste vergelijkbaar met de situatie zoals die in de Broncode beschreven wordt rond Jan Sloot. Het megageld en de verhitte toestanden zijn verdwenen. Dus ook om die reden is De Broncode geen bron voor TS. Compleet andere tijd.

 

Jij ook succes.

 

 

 

[Ron Berk]

@Henny, ik zou je artikel graag eens lezen.

 

Verder ga ik er even niet op in (hoe interessant dit ook is) maar anders wordt het alsnog een technisch topic, terwijl dat niet mijn bedoeling was ;).

 

De impact echter kan denk ik niet los gezien worden van het internet. En ook in mijn geval is streaming uitgesloten. Echter gezien het massaal gebruik van .zip en .rar bestanden, denk ik niet dat je dus maar kan stellen dat het geen effect heeft. Stel dat je voor een film slechts 1 mb nodig zou hebben, waarom zou je dit dan nog streamen?

[Henny van der Pluijm]

@Henny, ik zou je artikel graag eens lezen.

 

Verder ga ik er even niet op in (hoe interessant dit ook is) maar anders wordt het alsnog een technisch topic, terwijl dat niet mijn bedoeling was ;).

 

De impact echter kan denk ik niet los gezien worden van het internet. En ook in mijn geval is streaming uitgesloten. Echter gezien het massaal gebruik van .zip en .rar bestanden, denk ik niet dat je dus maar kan stellen dat het geen effect heeft. Stel dat je voor een film slechts 1 mb nodig zou hebben, waarom zou je dit dan nog streamen?

 

 

Bijvoorbeeld omdat als je deze technologie wil exploiteren, je de controle moet houden over de technologie en het product.

Maar wie weet heb jij daar een oplossing voor, dus mail maar even.

[Koos Pol]

Je gaat iets ontwerpen waar geen vraag naar is. En tegen de tijd dat de vraag er is, is er wel een praktische oplossing voor gevonden. In de IT gaan vraag en aanbod vrijwel gelijk op. 15 jaar geleden was een dvd met de halve bibliotheek erop ook zinloos, omdat het materiaal ontbrak om het te verwerken. Toen de apparatuur kwam om dergelijke hoeveelheden te verwerken, kwam de vraag ook wel los. Vergelijk verder je telefoonmodem van toen versus de kabel nu. Of de 15" CRT toen tegen de 24" TFT nu. Wil je echt snakes (de oude console variant) spelen op zo'n monster scherm?

 

Ik heb nu al teveel muziek, email, ebooks, pdf's, documenten, etc, etc.

Dus ik wil helemaal geen suikerklontje moleculen met 1,5 Petabyte aan data. Pas als ik wat met die hoeveelheid kan, wil ik het hebben. Niet eerder.

Ik wil een uitzondering maken voor bijvoorbeeld astrofysica en geofysica. De hoeveelheid data die ze daar genereren zijn gigantisch. Maar daar gebruiken ze ook nog steeds schijven packs voor. Om het daarna jaren op de plank te laten liggen omdat het te veel is om te verwerken...

 

Dus ik wil je vraag omdraaien: welk probleem wil je eigenlijk oplossen?

[R.I.P. | Peter Bonjernoor]

Toen de apparatuur kwam om dergelijke hoeveelheden te verwerken, kwam de vraag ook wel los.

Precies, dus als er bijvoorbeeld 1:1024 compressie zou komen, dan komt de vraag ook wel los.

 

Pas als ik wat met die hoeveelheid kan, wil ik het hebben. Niet eerder.

Mijn eerste computer had een erg dure harde schijf van wel 20MB, en ik had werkelijk geen idee hoe ik dat ooit vol zou moeten krijgen. Just sayin'...

 

Je ondermijnt je verhaal eigenlijk met je eigen argumenten... ;)

[Frans Sijtsma]

volgens mij zei henry ford al:

als ik naar de consument had geluisterd hadden we nu hele snelle paard en wagens gehad want daar was vraag naar. Niet naar auto's

[Raoul K]

Toen de apparatuur kwam om dergelijke hoeveelheden te verwerken, kwam de vraag ook wel los.

Precies, dus als er bijvoorbeeld 1:1024 compressie zou komen, dan komt de vraag ook wel los.

 

Pas als ik wat met die hoeveelheid kan, wil ik het hebben. Niet eerder.

Mijn eerste computer had een erg dure harde schijf van wel 20MB, en ik had werkelijk geen idee hoe ik dat ooit vol zou moeten krijgen. Just sayin'...

 

Je ondermijnt je verhaal eigenlijk met je eigen argumenten... ;)

 

Omdat deze meneer hosting verkoopt (adviseerd) Dat zal een stuk minder worden met zo'n theoretische compressie, en de elke 2 jaar verbubbelende internetsnelheden. Ik zou maar een beveiligings cursusje gaan doen, DAT word de toekomst in hosting