• 0

Extreme compressie

Bij toeval kwam ik enige tijd geleden op het idee voor een nieuwe manier van compressie van data.

Deze manier staat totaal los van alle huidige compressie methoden en zou vele malen efficienter zijn. In mijn berekeningen kom ik uit op een bestand van 1TB wat te comprimeren is tot slechts enkele MB's.

 

Tijdens het ontwikkelen van het algoritme had ik even een moment van bezinning en vroeg mezelf af wat de impact van deze vinding zou zijn?

 

Vandaar mijn vraag aan jullie, hoever zouden deze gevolgen gaan?

 

Ik denk zelf aan de mogelijkheid dat werkelijk alles kan worden opgeslagen met de huidige capaciteit. Maar wat gebeurd er met de hele hardware branche? Een DVD waar duizend films op passen (zonder kwaliteitsverlies). En wat gebeurd er met het internet?

 

Over het algoritme kan ik nog weinig zeggen omdat ondanks dat de eerste versie mislukt is, ik nog steeds mogelijkheden zie om een werkend model te ontwikkelen. Het is logisch dat dit voor veel mensen direct afgedaan zal worden als onzin (we kennen allemaal het verhaal van Jan Sloot en Philips). Data reproduceren uit niets (zeer weinig) is onmogelijk en ook wiskundig te onderbouwen. Zonder de methode uit de doeken te doen zal niemand dit dan ook geloven, vandaar dit ik me nu op de 'etische' kant wil richten.

 

Ik zie namelijk zelf nog steeds mogelijkheden om dit te ontwikkelen, maar wat zouden de gevolgen zijn als het daadwerkelijk lukt?

Link naar reactie

Aanbevolen berichten

  • 0

Je ondermijnt je verhaal eigenlijk met je eigen argumenten... ;)

Valt wel mee, want ik hoor nog steeds niets wat 1) het op te lossen probleem is, 2) hoe ik die hoeveelheden kan verwerken.

 

Ondernemer Ford had kennelijk ik de gaten [zie opmerking Frans Sijtsma] dat hij met een auto een betere deal kon aanbieden dan met een snellere paard en wagen. Zolang er geen probleem wordt opgelost kan ik als ondernemer niets met zo'n oplossing.

 

De enige 1e graads oplossing die ik kan bedenken is dat het transport van data goedkoper/sneller wordt. Maar dat kost nu al bijna niks meer. Dus daar zie ik geen verschuiving.

 

Ik zou maar een beveiligings cursusje gaan doen, DAT word de toekomst in hosting

Dat bedoel ik, een duidelijke vraag met een duidelijke oplossing.

Link naar reactie
  • 0
Valt wel mee, want ik hoor nog steeds niets wat 1) het op te lossen probleem is, 2) hoe ik die hoeveelheden kan verwerken.

Er hoeft niet per se een op te lossen probleem te zijn. Sommige ontwikkelingen zorgen voor toepassingen die daarvoor niet mogelijk waren, en waar mensen daarvoor ook geen behoefte aan hadden/dachten te hebben. Dat is wat ik bedoelde met die harde schijf van 20MB - niemand kon zich op dat moment voorstellen dat je ooit aan meer behoefte zou kunnen hebben.

 

De enige 1e graads oplossing die ik kan bedenken is dat het transport van data goedkoper/sneller wordt.

Als ik op YouTube een filmpje op 720p kijk krijg ik regelmatig dat er gebufferd moet worden. Op zich geen probleem.

 

Als er echter iemand deze fantastische compressie aan de praat zou krijgen kan ik met mijn huidige verbinding straks van 3D SuperHD met Dolby 11.3 Surround op mijn PC genieten, en dus zal door die uitvinding die markt op gaan komen.

 

Dat we nu nog geen 3D SuperHD met Dolby 11.3 Surround hebben is geen probleem, en hoeft dus niet opgelost te worden, maar als het wel zou kunnen zouden we er vast heel blij van worden.

Link naar reactie
  • 0

Je ondermijnt je verhaal eigenlijk met je eigen argumenten... ;)

Valt wel mee, want ik hoor nog steeds niets wat 1) het op te lossen probleem is

Probleem schmobleem. Er is nooit iemand geweest die gezegd heeft "ik mis een website waar ik berichtjes van 140 tekens kan plaatsen en die met iedereen kan delen". Toch was het een wereldconcept.

 

Als ik straks op mijn USB-stick alle data in een serverrack kan backuppen, zou dat geweldig nieuws zijn voor mij. Ik heb er nog nooit zo over nagedacht, maar zie wel mogelijkheden.

Ruby on Rails fanaat

Link naar reactie
  • 0

Als ik straks op mijn USB-stick alle data in een serverrack kan backuppen, zou dat geweldig nieuws zijn voor mij. Ik heb er nog nooit zo over nagedacht, maar zie wel mogelijkheden.

 

Kennelijk heb ik een plankje voor het hoofdje, want ik zie het nog steeds niet ;) Met de huidige snelheid van ontwikkeling heb jij over een paar jaar ook je hele serverrack op een usb stick. Laatste opmerking van mijn kant: Goedkopere bandbreedte is zakelijk handig als de bandbreedte heel duur is. Bijvoorbeeld satelliet communicatie. Als je van een weersatelliet (of een keyhole satelliet, nog leuker) meer en sneller en betere foto's kunt trekken, heb je wel een goeie business case lijkt me.

Link naar reactie
  • 0

Kennelijk heb ik een plankje voor het hoofdje, want ik zie het nog steeds niet ;) Met de huidige snelheid van ontwikkeling heb jij over een paar jaar ook je hele serverrack op een usb stick. Laatste opmerking van mijn kant: Goedkopere bandbreedte is zakelijk handig als de bandbreedte heel duur is. Bijvoorbeeld satelliet communicatie. Als je van een weersatelliet (of een keyhole satelliet, nog leuker) meer en sneller en betere foto's kunt trekken, heb je wel een goeie business case lijkt me.

 

De ontwikkeling van de opslagcapaciteit van harde schijven gaat nog altijd sneller dan de ontwikkeling van de snelheid van dataverkeer. Onze opslagwoede ook trouwens aangezien we meer en meer bewaren

 

Het draaien van een backup naar een online server zal dus steeds langer gaan duren om maar een voorbeeld te noemen

 

Alleen al om die reden zou een betere compressietechniek winst zijn.

 

In zijn algemeenheid: Voor een (al dan niet revolutionaire) verbetering van een goed bestaand product is altijd een markt

Link naar reactie
  • 0

De downloadwereld zal je ook meer dan dankbaar zijn (al weet ik niet of dat een doel moet zijn). Bedenk je eens dat je een stevige DVD9 in een minuut van een nieuwsgroep af trekt! Begrijp me niet verkeerd, ik ben fel tegen illegaal downloaden (geloof je me niet, dan nodig ik je uit voor een kijkje in onze thuisvideotheek), maar downloaden is lang niet altijd illegaal natuurlijk!

Ruby on Rails fanaat

Link naar reactie
  • 0

Niet gehinderd door enige kennis van zaken.....

 

Vraag ook ik me af wat het nut van een zeer hoge compressie is. Toen geheugen schaars was kon je dat plobleem oplossen door een 2e harde schijf of partitie te comprimeren. Denk dat het nu ook nog kan. Alleen niemand doet/deed het omdat het ten koste van de snelheid gaat/ging.

 

Extreme compressie en decompressie kost dus tijd en nog meer tijd om de ontstane ruis te corrigeren. Hoeveel tijd is afhankelijk van de processor en andere processen in een computer. De zwakste schakel bepaald uiteindelijk de snelheid.

 

Zolang we gebrek aan capaciteit kunnen oplossen door grotere en snellere schijven of ST disks en steeds sneller Internetverbindingen is en blijft extreme compressie het paard achter de wagen.

 

Of zie ik iets fundamenteels over het hoofd?

 

 

Link naar reactie
  • 0

Dat denk ik wel ja. Het gaat niet alleen om storage en het gaat niet alleen om HDD's. Er worden tegenwoordig games ontwikkeld die met moeite op 2 Bluray disks passen. Je ziet dat de limitaties daar gewoon weer de kop op steken. Ook bij downloaden en (voornamelijk) uploaden heb je dat probleem. Het is natuurlijk afhankelijk van de benodigde rekenkracht, ruis is natuurlijk niet van toepassing als het om compressie gaat. Ruis is een probleem uit het analoge tijdperk.

 

Als de compressie relatief snel gaat zijn er allerlei toepassingen denkbaar waarbij het een belangrijke verbetering zou kunnen betekenen. Wellicht niet op de HDD, maar toch zeker wel in het transport en op de kleinere media als USB-sticks en BluRay.

 

Nogmaals, het kan twee kanten op werken. Als de compressiemethode goed werkt komen er straks allerlei mogelijkheden aan het licht waar we nog nooit aan gedacht hadden.

Ruby on Rails fanaat

Link naar reactie
  • 0

Bedankt Jaap. Maar ik zit nog steeds met de zelfde vragen.

 

Met ruis bedoel ik digitale ruis. Bij compressie zullen foutjes ontstaan die achteraf moeten worden gecorrigeerd, ik begrijp dat dat weer afhankelijk is van de methode. Moest daarbij denken aan PAR2 bestanden die de gaten in RAR bestanden kan dichten hoewel die volgens mij niet perse de compressie corrigeert maar ook de data overdracht van en naar de server.

 

Meer principieel is de snelheidsvraag. Hogere compressie betekent normaal gesproken meer rekenwerk. Tenzij je met een heel inventieve methode komt waar niemand ooit aan heeft gedacht. Een die veel sneller is en het resultaat compacter. Volgens mij heb ik alleen gelezen over een compacter resultaat.

 

Dat toepassingen vanzelf ontstaan met het ontstaan van (betaalbare) onderliggende techniek is natuurlijk helemaal waar.

 

Link naar reactie
  • 0

Ik herinner mij uit een grijs verleden (jaren 80?) dat men toen dacht dat fractals mogelijk de sleutel waren tot compressie.

Als ik het mij goed herinner dacht men in de fractals een soort van natuurlijk algoritme te hebben gevonden waardoor het bijvoorbeeld mogelijk zou worden om van low res images gedetailleerde high res images te maken. Dat gaat dus verder dan compressie!!

 

Wie weet zijn er wel natuurlijke bronnen die door combinatie veel overeenkomsten hebben met datastromen.

 

 

Link naar reactie
  • 1

Hans slaat de spijker op zijn kop: extreme compressie komt tegen een prijs, en die prijs is tijd en rekenkracht.

 

Er is al aangegeven dat het gaat om een codering, of database techniek. De code geeft aan welk item uit de database moet worden gekozen. Deze techniek is overigens niet nieuw, maar werd vroeger Vector-codering genoemd. Uiteindelijk bleek deze techniek voor Video niet toereikend, en toen was er nog niet eens sprake van een wens tot streaming.

 

Fractals, Nico, zijn in de Video compressie in de jaren 90 toegepast, maar niet verder gekomen dan de experimentele fase. Een fractal neemt een deel van het beeld, draait, verkleurt, en verkleint dat om een ander deel van het beeld op te bouwen. Die transformatie sla je op (in plaats van het originele beeld). In een aantal iteraties (waarbij ieder deel van het beeld zichzelf opbouwt) komt dan het origineel terug. Grote voordeel van Fractals: je kon een beeld oneindig uitvergroten zonder de pixels te gaan zien. Maar wat je wel zag waren vreemde structuren die niet in het origineel zaten.

 

Fractals waren zeer interessant, maar hadden veel rekenkracht nodig, en leverden geen betere compressie.

 

Andere destijds veelbelovende technieken waren contourcodering, model-codering (had je wel voorkennis nodig dat de beelden bijvoorbeeld gezichten bevatten), etcetera. Allemaal zeer rekenintensief. Hierdoor is tot de dag van vandaag de veel praktischer DCT-codering (Discrete Cosinus Transformatie, en transformatie naar het frequentie domein) de defacto standaard geworden.

 

Zo, heb ik toch nog wat aan mijn studie en promotie-onderzoek gehad... ;)

 

Link naar reactie
  • 0

Met ruis bedoel ik digitale ruis. Bij compressie zullen foutjes ontstaan die achteraf moeten worden gecorrigeerd, ik begrijp dat dat weer afhankelijk is van de methode. Moest daarbij denken aan PAR2 bestanden die de gaten in RAR bestanden kan dichten hoewel die volgens mij niet perse de compressie corrigeert maar ook de data overdracht van en naar de server.

Dat heeft niets met compressie an sich te maken, maar met de manier waarop nieuwsgroepen werken. Digitale ruis bestaat niet, een bestand kan wel kapot gaan doordat er ergens een 1 in een 0 verandert. Het effect daarvan is te merken doordat je versleuteling niet meer overeenkomst en het bestand niet meer functioneert. Extreme compressie zal dat probleem echter juist tegengaan doordat de transactiemogelijkheden voor grote bestanden toenemen. Ouderwetse transactiemethoden als nieuwsgroepen worden daardoor achterhaald. Bij verzenden over TCP/IP is de kans dat een bestand corrupt overkomt zo klein dat hij verwaarloosbaar is.

 

Let wel: we hebben het hier over de vraag of vooruitgang in compressie gewenst is. Kortom, daar hoort ook bij dat de compressie- en decompressiemethoden verbeteren en dat hoeft dus niet enkel merkbaar te zijn in de grootte van het resultaat, maar ook in de snelheid van (de)compressie e.d.

 

Meer principieel is de snelheidsvraag. Hogere compressie betekent normaal gesproken meer rekenwerk. Tenzij je met een heel inventieve methode komt waar niemand ooit aan heeft gedacht. Een die veel sneller is en het resultaat compacter. Volgens mij heb ik alleen gelezen over een compacter resultaat.

We hebben het inmiddels over vooruitgang in compressie in het algemeen. Er zijn hier mensen die beweren dat daar geen tijd in gestoken zou moeten worden en ik ben het daar niet mee eens. ZIP is tegenwoordig eigenlijk een enorm achterhaald principe, maar men gebruikt het nog steeds omdat er in de consumentenmarkt geen aandacht wordt besteed aan betere mogelijkheden. Ik moedig de TS dus alleen maar aan hiermee vooral door te gaan!

Ruby on Rails fanaat

Link naar reactie
  • 0

Bekijk de documentaires op http://jansloot.telcomsoft.nl of youtube. De impact zou misschien intenser zijn als 11 jaar geleden alleen op breder vlak. Exacte scenario's zijn uiteraard niet voorspelbaar. Alleen het besef al wat een smallere bandbreedte teweegbrengt bij ontwikkelingen op communicatiegbied is enorm. Bij vernieuwingen zullen altijd bedrijven het veld moeten ruimen, dat is al eeuwig zo en zal altijd verweven blijven.

Meer kapers zijn op deze kust die zelfs demo's kunnen geven...so hurry up ! :)

 

TLC

 

 

 

 

Link naar reactie
  • 0

NIET DOWNLOADEN is een virus.

 

Virusscanner (NOD32) geeft bij windows7 de melding [probably a variant of Win32/Agent.VLAFLF trojan cleaned by deleting - quarantined ]

 

Link blijft uit voorzorg dus voorlopig offline

Vermoedelijk False Positive.

Antivir geeft hier niets aan.

.Exe's werken wel, alleen vergt veel v/d processor.

 

Link naar reactie
  • 0

Voor de zekerheid nog ff online gecheckt op:

 

http://www.kaspersky.com/virusscanner

 

Misschien zijn er betere online virusscanners...

 

TLC

------------------------------------------------------------------

Kaspersky File Scanner

Scanned file: elevated_win7_1024x768.exe

 

 

You're clean!

Kaspersky File Scanner has not detected any viruses at this time in the file you submitted.

 

However, only a fully-functional antivirus solution with regularly updated virus definitions can ensure comprehensive protection against malware. If you do not have an antivirus solution installed, you may wish to consider purchasing one today.

 

Link naar reactie
  • 0

Nader onderzoek op de .Exe-bestanden blijken duidelijk false-postiv's te geven op

enkele virusscanners. De oorzaak ligt aan crinkler waarmee de .exe bestanden zijn

ingepakt. Op internet zijn er meerdere discussies over terug te vinden.

 

Kortom, de .EXE's zijn veilig

 

M.vr.gr. TLC

 

 

Topic: Files packed with Crinkler 4k executable reports false positive (Read 649 times)

 

Files packed with Crinkler 4k executable reports false positive

« on: January 15, 2010, 10:24:29 PM »

 

--------------------------------------------------------------------------------

 

Hi,

 

I'd really like if you could somehow analyze the crinkler executable file compressor (http://www.crinkler.net), so Avast doesn't report false positives for all files of that type. It's really a pain since close to every single demoscene production less than 64KB in size get caught and blocked.

 

I'm sure Rune and Aske (the authors of Crinkler) would be happy to help out in establishing a way to prevent files packed with crinkler to report false positive.

 

 

 

Link naar reactie
  • 0

Is iemand de supercompressie van Jan Sloot aan het reanimeren? ;D

 

Hahahaha... was dat maar waar :P

 

Gewoon geweldig om te zien dat er met 4079 bytes een realistische HQ film van 03:35 gemaakt

wordt. En dan te bedenken wat die 4079 bytes aan (nuttige) megabytes genereert mbv algo's.

 

It's the time after Jan Sloot ;D

 

 

TLC

Link naar reactie
Gast
Dit topic is nu gesloten voor nieuwe reacties.
Hide Sidebar
  • Wil je onze Nieuwsflits ontvangen?
    Deze verzenden we elk kwartaal.

  • Wie is er online?
    8 leden, 236 Gasten

  • Breng jouw businessplan naar een higher level!

    Op dit forum worden alle onderwerpen m.b.t. ondernemerschap besproken.

    • Stel jouw ondernemersvragen
    • Antwoorden/oplossingen van collega ondernemers
    • > 75.000 geregistreerde leden
    • > 100.000 bezoekers per maand
    • 24/7 bereikbaar / binnen < 6 uur antwoord
    •  Altijd gratis

  • Ook interessant:

    Ook interessant:

×
×
  • Nieuwe aanmaken...

Cookies op HigherLevel.nl

We hebben cookies geplaatst op je toestel om deze website voor jou beter te kunnen maken. Je kunt de cookie instellingen aanpassen, anders gaan we er van uit dat het goed is om verder te gaan.