Jumbo data upload uit de rimboe

[LittleBit]

Stel: je zit ergens ver weg, in de jungle, woestijn of een boorplatform.

En je doet daar metingen met een PC

en aan het eind van de dag heb je veel data (ca. 200GB).

Hoe krijg ik die data dan het snelste naar m'n buro in Europa ?

Als er al GSM/GPRS is, werkt dat te traag.

UMTS/HSDPA kun je daar wel vergeten.

Zijn er satelliet mogelijkheden ?

Iemand ervaring met zoiets ?

 

[llevering]

Via sateliet is de meest remote verbinding, maar prijzen liggen tussen de $ 5,- en $ 7,- per mb (good luck met 200gb). Als er UMTS dekking is dat het beste alternatief, maar met 200gb is er bijna niets geschikts in de rimboe.

 

Postduiven of met een truck rijden naar de dichtsbijzijnde snellere internet verbinding is misschien de beste optie.

[LittleBit]

Ter info:

Nu copieren we alles naar een USB-HD en sturen die -goed verpakt- elke dag met DHL naar huis,

Dat is te betalen maar vertraagt de data met minimaal een week.

 

[Frans Sijtsma]

200 Gig?

 

Moest meteen denken aan een aardig artikel een tijd geleden, over de opkomt van fysiek transport van grote hoeveelheden data

 

Artikel is hier te vinden

 

Ben bang dat de post nog steeds je snelste optie is, hoe raar dit ook klinkt

 

Frans

 

PS. heb je alle data in 1 keer nodig of kun je met kleinere datapakketjes werken die je gesegmenteerd kunt versturen?

PS.2 Heb je belangrijke data die je direct nodig hebt en ondersteunende gegevens die later mogen komen (bijvoorbeeld de samenvatting via FTP oid en de andere 95% via de post?)

 

[LittleBit]

Postduiven

 

Dat klinkt gek maar als we eea verder comprimeren en op 1 64GB flashdisk kunnen zetten,

staat dit idd op ons lijstje van mogelijke alternatieven.

Maar ook dan is er tijd nodig.

 

[vdr-it]

Is het niet mogelijk om ervoor te zorgen dat je d.m.v. remote desktop, vnc, etc. een schermovername van de pc op locatie doet. Dit vergt beperkte bandbreedte. GPRS is voldoende.

 

Je hebt dan natuurlijk niet alle data lokaal dus als je de data bijvoorbeeld in een database wil gaan verwerken is dit geen oplossing.

 

Optie 2: I.p.v. de usb disk te laten versturen door DHL kun je de tijd verkorten door met de disk naar de dichtbijzijnde internetverbinding met voldoende capaciteit te rijden en alles zelf te uploaden.

[LittleBit]

PS. heb je alle data in 1 keer nodig of kun je met kleinere datapakketjes werken die je gesegmenteerd kunt versturen?

PS.2 Heb je belangrijke data die je direct nodig hebt en ondersteunende gegevens die later mogen komen (bijvoorbeeld de samenvatting via FTP oid en de andere 95% via de post?)

 

De data mag in kleinere paketten (maar IP-paketten doen dat feitelijk al vanzelf).

En de belangrijke data die we meteen nodig hebben is toch wel 80%.

 

[NewContacts]

Hoe staat het met software die op het net beschikbaar is en waar je data kan plaatsen. Kijk naar Google documents die het mobiel werken vereenvoudigd door ook data te hosten.

 

Idee?

 

Met groet,

Rick

 

[LittleBit]

Is het niet mogelijk om ervoor te zorgen dat je d.m.v. remote desktop, vnc, etc. een schermovername van de pc op locatie doet. Dit vergt beperkte bandbreedte. GPRS is voldoende.

We praten over gecomprimeerde onderwater video opnames offshore.

Video analyse via VNC valt dan niet mee.

 

[vdr-it]

Hoe staat het met software die op het net beschikbaar is en waar je data kan plaatsen. Kijk naar Google documents die het mobiel werken vereenvoudigd door ook data te hosten.

 

Idee?

 

Met groet,

Rick

 

 

Of hij de data nu naar een pc of server in zijn eigen bedrijf stuurt of naar google maakt niets uit. Het gaat erom dat op de locatie geen snelle verbinding beschikbaar is.

[R.I.P. - Benm]

Tja... ik denk dat het domweg ophoudt. 200 GB binnen een week van A naar B krijgen is al ondoenlijk over ADSL, en uploads naar satelliet zijn nog een stuk trager, nog afgezien van de kosten.

 

Overigens vind ik 200 GB data wel een enorme hoeveelheid voor een dag meten. Ik weet niet met hoeveel cameras je tegelijk aan het filmen bent, maar met een beetje compressie is 200 GB toch wel voldoende voor pakweg 50 uur 1280x720 HD video.

[LittleBit]

Overigens vind ik 200 GB data wel een enorme hoeveelheid voor een dag meten.

Klopt, en zekers voor iemand met mijn alias ;-)

 

[Maarten S]

Ligt aan je budget.

Per koerier zal het het snelste zijn.

[ClearICT]

Tegenwoordig zijn er ook 2-weg data verbindingen per satelliet mogelijk waarbij je voor een vast bedrag per maand je data afkoopt (ook met 1mbit up). Dat is wel helemaal afhankelijk waar in de wereld je je precies bevindt en of je daar dus wel satelliet dekking hebt.

 

Gaat het trouwens om meerdere vaste plekken in de wereld waar deze metingen verricht worden? Het lijkt mij namelijk vrij onpraktisch om met een schotel van 2 meter doorsnede de wereld rond te moeten reizen ;)

 

[ClearICT]

Postduiven

 

Dat klinkt gek maar als we eea verder comprimeren en op 1 64GB flashdisk kunnen zetten,

staat dit idd op ons lijstje van mogelijke alternatieven.

Maar ook dan is er tijd nodig.

 

 

PAAS (postduif as a service) gaat het helemaal worden in 2010! ;D

[member123]

wat betreft het probleem: je bent niet de enige.

Ongeveer een maand terug stond het volgende in de krant: Postduif sneller dan breedband

http://www.telegraaf.nl/buitenland/4802282/__Postduif_sneller_dan_breedband__.html

[willemj]

Met een 1mbit lijntje, volle bandbreedte en zonder overhead zit je op 18,5 dag voor 200 gigabyte. Op 10mbit dus nog steeds 1,8 dagen. Met 100mbit zit je op een acceptabel 4 uur. Zelfs met internet verbindingen heb je het dus over meer dan een een dag. Als het wat mag kosten kun je kijken of er in de buurt 'dark fiber' (ongebruikt glasvezel net) te huur is. Universiteiten beschikken ook over eigen netwerken met hoge snelheden (Gigaport van surfnet in Nederland bijvoorbeeld)

 

Maar wat Ben terecht opmerkt: hoeveel video / compressie gebruik je. Een gigabyte aan data levert me 45 minuten aan 720p content op. Ben dus zelfs wat optimistischer dan Ben; 200 gig = ca 150 uur video. MPEG 4 / h.264 is goedkoop in hardware te krijgen dus real-time conversie moet kunnen.

 

Andere gedachte: zoveel video ga je niet kijken en moet dus verwerkt worden. Kun je geen voorbewerking op locatie doen zodat de data een flink stuk kleiner is voor verzending?

[Nils de Witte]

200GB uit de rimboe gaat in alle gevallen sneller met de post/koerier/duif dan via welke lijn dan ook. 2 GB is al een drama.

 

[LittleBit]

@Ben en Willem

 

> Maar wat Ben terecht opmerkt: hoeveel video / compressie gebruik je.

De data is wat complexer dan een simpel videootje maar doordat HL open is en in alle zoekmachines terug te vinden is,

kan ik hier geen detailinfo geven.

Zoals eerder aangegeven kan ik de compressie nog wel wat verbeteren,

zodat alles op een 64GB flashdisk past.

Dan moet ik zorgen dat die flashdisk zo snel mogelijk bij het dichtsbijzijnde DHL/FEX-kantoor komt en die kunnen dan per koeriersdienst zorgen dat ik de data op de plaats van bestemming krijg.

Waarschijnlijk is dit het meest pragmatische (en betaalbare).

Dank voor het meedenken.

 

[Mark Lindhout]

Ik heb nog een aantal vragen over het videomateriaal in verband met compressie-mogelijkheden.

[*] Is het full-colour video? Zo nee: Is het monochroom of iets dergelijks?

[*] Maakt kleurverlies uit bij het analyseren van de data?

[*] Zit er audio bij de video, en is dat essentieel voor het analyseren?

[*] Zijn er nog andere datastromen aanwezig die heel belangrijk zijn?

[*] Maakt frame-verlies uit bij het analyseren van de data? Dus: Kun je ook toe met minder beelden per seconde?

[*] Welke codecs gebruik je om de video te comprimeren?

Ik kan me nog goed herinneren dat we bij het filmen van een uurtje materiaal ook tientallen Gigabytes aan data overhielden, maar dat was allemaal 'raw data'. Dat is tegenwoordig gemakkelijk tot 10% van de grootte terug te brengen zonder storend verlies.

 

Ik weet natuurlijk niet precies aan welke eisen het materiaal moet blijven voldoen, dus ik ben heel voorzichtig, maar ik denk dat betere compressie in combinatie met een oplossing zoals hierboven genoemd (GPRS, InMarSat, etc.) wel haalbaar lijkt.

 

[LittleBit]

@Mark,

 

> Ik heb nog een aantal vragen over het videomateriaal in verband met compressie-mogelijkheden.

Het is allereerst geen gewone video zoals we dat van NTSC of PAL kennen.

en daarnaast kun je video comprimeren als de beeldveranderingen gering zijn.

Je kunt dus prima een video opname van voorbij drijvende woljken comprimeren.

Als je een videio-opname van -bij wijze van spreke- een snelweg maakt met voorbij razend verkeer-

dan lukt comprimeren een stuk moeilijker.

We kunnen onze data comprimeren soms een factor 4 of zelfs 5 maar vaak ook slechts 3x

zodat we de 200GB terugbrengen naar 64GB en deze dan op een flashdisk zetten

welke in een bubbeltjes envelop van DHL/FEX gaat en als Document wordt verzonden naar Ned.

En dat is -gelet op kosten en snelheid- vandaag de gulden middenweg

en 'morgen' doen we het graag anders.

 

Dank voor het meedenken.

 

[Jaap Haagmans]

Tegenwoordig zijn er ook 2-weg data verbindingen per satelliet mogelijk waarbij je voor een vast bedrag per maand je data afkoopt (ook met 1mbit up). Dat is wel helemaal afhankelijk waar in de wereld je je precies bevindt en of je daar dus wel satelliet dekking hebt.

1 Mbit up is met 200 GB langzamer dan per post. En waarschijnlijk tientallen malen duurder.

 

Ik zou eerder denken aan snellere verzendmethoden dan aan een internetverbinding als ik een beetje een goed beeld heb van de situatie. Als je het al op een 64GB flashdisk kunt krijgen is het risico van het verzenden al vele malen kleiner dan op een fysieke HDD bijvoorbeeld.

[R.I.P. - Benm]

Tja, dan is het zoals het is. Als je het redelijkerwijs niet verder kunt comprimeren dan 64 gig, is uploaden gewoon geen optie. Niet op adsl, en zeker niet in de rimboe.

 

Je ziet dit soort problemen al als alle mogelijk techniek wel voorhanden is, laat staan bij beperkingen in techniek.