Stroomstoring in de Randstad, blijft de cloud in beweging?

[TwaBla]

Business continuity is een belangrijk verkoopargument van veel cloud service leveranciers. Hang uw website of -shop bij ons in het rekencentrum want onze servers draaien 24/7 door. Ook bij stroomuitval.

 

Mijn provider mailde echter dat helaas hun stroomaggregateurs niet meteen werkte. Blijkt zo'n stroomstoring toch een goede test. Kloppen die beloftes wel?

 

[Cosara]

Business continuity is een belangrijk verkoopargument van veel cloud service leveranciers. Hang uw website of -shop bij ons in het rekencentrum want onze servers draaien 24/7 door. Ook bij stroomuitval.

 

Mijn provider mailde echter dat helaas hun stroomaggregateurs niet meteen werkte. Blijkt zo'n stroomstoring toch een goede test. Kloppen die beloftes wel?

Mooi woord ... stroomaggregateurs ... Vlaams?

 

Al kloppen die beloftes wel ... wat heb je daar aan als jouw kantoor niet over een aggregaat beschikt om stroomuitval in de eigen straat of wijk op te vangen?

 

Wij hebben één keer een paar uur zonder gezeten, omdat een elektriciteitskabel in onze wijk in werkelijkheid toch ergens anders lag dan op de tekening stond vermeld. Dit keer geen foutje van de graafmachinist dus.

Zonder gekheid ... zelfs koffie zetten wordt dan heel lastig.

 

Met de vriendelijke groeten van Nedzhibe

 

[Sartorius]

Er kunnen allerlei redenen zijn waarom de aggregaten niet goed inschakelen bij een storing. Het blijven gewoon dieselmotoren die goed onderhoud nodig hebben.

Een datacenter heeft doorgaans aggregaten, maar voordat die opgestart zijn neemt eerst een hele batterij aan accu's het over. Ook in die overschakeling gaat soms iets mis.

 

Een goed datacenter test zijn generatoren periodiek, bijvoorbeeld maandelijks. Er zijn datacenters die dan alleen de generatoren even laten draaien, en sommige schakelen ook daadwerkelijk alle load over. Je begrijpt: dat is een heel spannend moment. En ook kostbaar, dus wordt het soms overgeslagen.

 

Gelukkig volgt er meestal een uitgebreid onderzoek na zo'n storing en zullen we in de komende weken wellicht meer informatie krijgen wat er mis ging bij TransIP/TDG vanochtend.

 

Het is lastig om de beloften te controleren. Daarvoor moet je echt direct klant zijn bij een datacenter, dan krijg je meestal een bericht elke keer dat de generatoren getest worden.

 

Gelukkig hebben we in Nederland een vrij stabiele infrastructuur. Overigens zijn er ook steeds meer bedrijven die bewust niet voor noodstroom kiezen. Die spreiden bijvoorbeeld alles over minimaal 2/3 locaties en als er dan 1 even wegvalt is er niets aan de hand. Daarmee wordt flink bespaard op dure noodstroomvoorzieningen die inderdaad nooit 100% zekerheid bieden.

 

@Cosara: in dit geval lag de rest van Nederland niet plat, dus je wil dan wel online blijven met je webwinkel bijvoorbeeld

[TwaBla]

Gelukkig hebben we in Nederland een vrij stabiele infrastructuur. Overigens zijn er ook steeds meer bedrijven die bewust niet voor noodstroom kiezen. Die spreiden bijvoorbeeld alles over minimaal 2/3 locaties en als er dan 1 even wegvalt is er niets aan de hand. Daarmee wordt flink bespaard op dure noodstroomvoorzieningen die inderdaad nooit 100% zekerheid bieden.

Dat zou je kunnen uitruilen. Zoals veel 'eigen' datacenters gewoon ingehuurde capaciteit zijn.

 

[Cosara]

@Cosara: in dit geval lag de rest van Nederland niet plat, dus je wil dan wel online blijven met je webwinkel bijvoorbeeld

Kan ik mij wel wat bij voorstellen ... maar ik dacht meer aan opslag van de boekhouding ... ongeacht of die "Cloud" nu 1000 kilometer ver weg staat of slechts 10 meter.

 

Met de vriendelijke groeten van Nedzhibe

 

[R.I.P. - Benm]

Gelukkig volgt er meestal een uitgebreid onderzoek na zo'n storing en zullen we in de komende weken wellicht meer informatie krijgen wat er mis ging bij TransIP/TDG vanochtend.

 

Wat ze hebben laten weten is dat 1 van de aggregaten niet automatisch startte, en dat blijkbaar om 6 uur alsnog handmatig is gedaan. Waarom dat automatisch starten niet werkte zullen ze nog wel laten weten.

 

En tests waarbij men periodiek de boel onafhankelijk van het lichtnet laat draaien: Niet iedereen doet dat omdat het naast duur ook enig risico oplevert. De bedoeling is natuurlijk dat de aggregaten vanzelf starten. Dit kost even tijd, en gedurende die tijd moeten de servers draaien op UPS'en (accus dus).

 

Als het aggregaat faalt tijdens zo'n test is er genoeg tijd om het lichtnet weer in te schakelen voor de accu's leeg zijn bij normaal functionerende systemen.

 

Het vervelende is dat die accus het ook wel eens begeven, en tijdens zo'n test gaan er dan een paar servers offline. Op zich rebooten die servers natuurlijk wel, maar ja, dat wil je je klanten ook niet aandoen.

 

[Sartorius]

Gelukkig volgt er meestal een uitgebreid onderzoek na zo'n storing en zullen we in de komende weken wellicht meer informatie krijgen wat er mis ging bij TransIP/TDG vanochtend.

 

Wat ze hebben laten weten is dat 1 van de aggregaten niet automatisch startte, en dat blijkbaar om 6 uur alsnog handmatig is gedaan. Waarom dat automatisch starten niet werkte zullen ze nog wel laten weten.

 

En tests waarbij men periodiek de boel onafhankelijk van het lichtnet laat draaien: Niet iedereen doet dat omdat het naast duur ook enig risico oplevert. De bedoeling is natuurlijk dat de aggregaten vanzelf starten. Dit kost even tijd, en gedurende die tijd moeten de servers draaien op UPS'en (accus dus).

 

Als het aggregaat faalt tijdens zo'n test is er genoeg tijd om het lichtnet weer in te schakelen voor de accu's leeg zijn bij normaal functionerende systemen.

 

Het vervelende is dat die accus het ook wel eens begeven, en tijdens zo'n test gaan er dan een paar servers offline. Op zich rebooten die servers natuurlijk wel, maar ja, dat wil je je klanten ook niet aandoen.

 

 

Blijft een lastige afweging inderdaad. Het voordeel van een test is dat je zekerder bent dat die dingen inschakelen op momenten dat je dat wilt. Accu's begeven het op den duur ook ja, en daarom moet je die ook apart testen en monitoren op bijvoorbeeld temperatuur en tijdig vervangen.

 

De gevolgen van een storing tijdens een geplande test zijn waarschijnlijk veel kleiner dan helemaal niet testen en op een onverwacht moment geconfronteerd worden met een niet opstartende generator. Je doet er dan veel langer over om hem handmatig te starten en de fout te vinden. Een test is aan te kondigen en gecontroleerd, mocht het misgaan kun je direct ingrijpen en is de schade hopelijk te overzien.

[TwaBla]

Amsterdam is het internetknooppunt tussen Europa en de rest van de wereld. Dus daar staan datacenters en switches die essentieel zijn in de bedrijfsvoering van grote banken, energiebedrijven en andere ondernemingen. Die zijn allemaal voorbereid op dit scenario. En die weten nu of de voorbereiding goed was.

 

Dan zijn verklaringen achteraf geen excuus. De betrouwbaarheid van de energievoorziening was altijd een belangrijke USP van Amsterdam. Niet meer!

 

[Sartorius]

Er is inmiddels een officiële verklaring van het datacenter. Het gaat dus om een mechanisch defect.

http://www.thedatacentergroup.nl/grote-stroomstoring-amsterdam-en-omstreken

 

Hieruit blijkt ook dat bijvoorbeeld TransIP hun servers niet (allemaal) heeft aangesloten op de zogenaamde 'B-feed'. Die is namelijk niet uitgevallen. Kan een bewuste keuze zijn geweest, blijft een kosten/risicoafweging.

 

@TwaBla "grote banken, energiebedrijven" - dat is toch wel een heel ander kaliber dan een hostingpakketje bij TransIP. Naar mijn weten is er geen bank geweest met uitval door de stroomstoring.

[TwaBla]

@TwaBla "grote banken, energiebedrijven" - dat is toch wel een heel ander kaliber dan een hostingpakketje bij TransIP. Naar mijn weten is er geen bank geweest met uitval door de stroomstoring.

Helemaal eens. Ik was gewoon nieuwsgierig. ;)

 

[Maxn]

Hieruit blijkt ook dat bijvoorbeeld TransIP hun servers niet (allemaal) heeft aangesloten op de zogenaamde 'B-feed'. Die is namelijk niet uitgevallen. Kan een bewuste keuze zijn geweest, blijft een kosten/risicoafweging.

 

Bedenk echter goed dat stroomuitval niet alleen tot downtime kan leiden maar ook tot dataverlies.

Om performance redenen schrijven de meeste besturingssystemen gewijzigde gegevens niet meteen naar harde schijf weg, maar sparen deze eerst enige tijd in het geheugen op (write caching).

 

Mocht iemand dus net een grote bestelling in je webshop geplaatst hebben de minuut voordat de stroom uitviel, dan loop je het risico dat die nu foetsie is. En heb je dadelijk een boze klant die wel betaald heeft, maar zich afvraagt waar zijn bestelling blijft...

 

Reden dat we zelf wel een ATS in ons rack hebben om alle apparatuur op twee stroombronnen aan te sluiten.

Ondanks dat het zo'n 500 EUR extra kost, voor een apparaat dat je niet heel vaak gebruikt.

 

 

@TwaBla "grote banken, energiebedrijven" - dat is toch wel een heel ander kaliber dan een hostingpakketje bij TransIP. Naar mijn weten is er geen bank geweest met uitval door de stroomstoring.

 

Nee, maar ook die gaan wel eens door andere dingen down.

Zoals door het testen van de blusinstallatie. :)

 

A loud sound just shut down a bank's data center for 10 hours

 

[willemj]

Amsterdam is het internetknooppunt tussen Europa en de rest van de wereld. Dus daar staan datacenters en switches die essentieel zijn in de bedrijfsvoering van grote banken, energiebedrijven en andere ondernemingen. Die zijn allemaal voorbereid op dit scenario. En die weten nu of de voorbereiding goed was.

 

Dan zijn verklaringen achteraf geen excuus. De betrouwbaarheid van de energievoorziening was altijd een belangrijke USP van Amsterdam. Niet meer!

 

Het knooppunt, de Amsterdam Internet Exchange of AMS-IX, heeft nergens last van gehad.

 

[R.I.P. - Benm]

Bedenk echter goed dat stroomuitval niet alleen tot downtime kan leiden maar ook tot dataverlies.

Om performance redenen schrijven de meeste besturingssystemen gewijzigde gegevens niet meteen naar harde schijf weg, maar sparen deze eerst enige tijd in het geheugen op (write caching).

 

Mocht iemand dus net een grote bestelling in je webshop geplaatst hebben de minuut voordat de stroom uitviel, dan loop je het risico dat die nu foetsie is. En heb je dadelijk een boze klant die wel betaald heeft, maar zich afvraagt waar zijn bestelling blijft...

 

Dat hangt een beetje van je systeem af: Als je een slim UPS hebt dan zal dit niet gebeuren: het systeem schakelt over op de accu, maar als er geen net- of noodstroom beschikbaar komt en het accu bijna leeg is volgt een gecontroleerde shutdown (feitelijk wat je laptop ook doet als de accu leeg is).

 

Wat wel kan: Je klant is bezig met ideal te betalen, op de site van zijn bank, terwijl jouw server (gecontroleerd of niet) offline gaat. De terugkoppeling van de betaling is dan niet mogelijk en de order blijft onbetaald in je database staan. Ideal heeft echter tenminste 2 mechanismes om hiervan te herstellen: Als het initieel niet lukt je server te bereiken om de betaling te bevestigen proberen ze het later nogmaals, en je kunt de status ook nog zelf actief opvragen.

 

Werk je met een PSP moet je even navragen hoe ze dat daar geregeld heben.

[Maxn]

Dat hangt een beetje van je systeem af: Als je een slim UPS hebt dan zal dit niet gebeuren: het systeem schakelt over op de accu, maar als er geen net- of noodstroom beschikbaar komt en het accu bijna leeg is volgt een gecontroleerde shutdown (feitelijk wat je laptop ook doet als de accu leeg is).

 

Dan moet je wel een aparte UPS voor elke server hebben.

En dat heeft de gemiddelde hoster zelden, omdat dat erg kostbaar is.

Van de centrale UPSen die het datacenter heeft staan om de tijd tot het starten van de generatoren te overbruggen ontvangen de individuele servers geen seintje als die leeg raken doordat het starten niet lukt.

 

Wel is de gehele stroomtoevoer doorgaans dubbel uitgevoerd met ook twee onafhankelijke sets UPSen en generatoren. De A en de B feed.

Er komen dan ook twee aparte stroomkabels je rack binnen, waar je je apparatuur op aan kan sluiten.

Voor het automatisch overschakelen tussen die twee heb je echter extra apparatuur nodig.

Hetzij een ATS die dat voor alle apparatuur in je rack regelt, of door een redundante voeding in elke server te stoppen.

Maar sommige providers vinden dat zelfs te duur.

 

[Sartorius]

Twee aparte stroomfeeds is zeker niet standaard in ieder datacenter, en ook verschilt het enorm hoe het aan de andere kant is geregeld. Soms zijn het echt 100% gescheiden systemen, aparte generatoren, UPS, verdelers, etc. (tot aan het stroomnet, soms wel aparte trafohuisjes, meestal niet) en soms komt het toch weer ergens bij elkaar.

 

Een ATS is leuk, maar door dat apparaat te gebruiken heb je wel een nieuwe Single Point of Failure geïntroduceerd. Dat apparaat kan namelijk ook stuk (ik speek uit ervaring) en dan ben je alsnog de sjaak...

 

Echt alles dubbel uitvoeren is zowel aan de datacenter als datacenter-gebruiker kant als je het echt goed wil doen gewoon best kostbaar. Dan worden er vaak ergens toch risico's genomen, en zolang die beheersbaar zijn is dat ook helemaal niet erg. We hebben het hier wel over de laatste 'negens' uit de 99,999%. Zo lang je er maar eerlijk over bent natuurlijk, maar TransIP adverteert bijvoorbeeld ook helemaal niet met 100% uptime of iets dergelijks dus zo'n storing als van de week hoort er dan gewoon bij.

 

[Maxn]

Een ATS is leuk, maar door dat apparaat te gebruiken heb je wel een nieuwe Single Point of Failure geïntroduceerd. Dat apparaat kan namelijk ook stuk (ik speek uit ervaring) en dan ben je alsnog de sjaak...

 

Gelukkig komt dat een stuk minder vaak voor, dan het aantal stroomstoringen in sommige DCs.

 

Echt alles dubbel uitvoeren is zowel aan de datacenter als datacenter-gebruiker kant als je het echt goed wil doen gewoon best kostbaar. Dan worden er vaak ergens toch risico's genomen, en zolang die beheersbaar zijn is dat ook helemaal niet erg. We hebben het hier wel over de laatste 'negens' uit de 99,999%.

 

Voor 99,99% mag je max. 52 minuten downtime per jaar hebben, en daar zitten ze nu al overheen.

Verder vind ik dat getal persoonlijk wat minder boeiend.

Als ik mocht kiezen zou ik liever een paar uur per jaar zonder netwerk zitten, dan 1 minuut zonder stroom met het risico op dataverlies.

Maar in de statistieken wordt dat onderscheid helaas nooit gemaakt.

 

Zo lang je er maar eerlijk over bent natuurlijk, maar TransIP adverteert bijvoorbeeld ook helemaal niet met 100% uptime of iets dergelijks dus zo'n storing als van de week hoort er dan gewoon bij.

 

https://www.transip.nl/transip/uptime/

 

Uptime

 

Ons datacentrum heeft een uptime van 100% sinds haar bestaan.

 

Strikt genomen is dat misschien niet gelogen.

De B-feed van het datacenter waar zij ruimte huren deed het nog prima. ;)

Maar wel misleidend, als je je eigen spul niet op beide feeds aansluit, en je klanten dus alsnog plat liggen...

 

[mmint]

Maar wel misleidend, als je je eigen spul niet op beide feeds aansluit, en je klanten dus alsnog plat liggen...

Niet alle klanten. Mijn vps bij TransIP had nergens last van...

 

[Maxn]

Maar wel misleidend, als je je eigen spul niet op beide feeds aansluit, en je klanten dus alsnog plat liggen...

Niet alle klanten. Mijn vps bij TransIP had nergens last van...

 

Zou ze dan wel even vragen of dat komt doordat jij op een server zit die wel netjes een redundante stroomvoorziening heeft.

Of dat ze een deel van de systemen op de A hebben aangesloten, en een deel van de systemen op de B.

In het laatste geval heb je dit keer geluk gehad dat je op de feed zat die niet is uitgevallen, maar kan het de volgende keer wel raak zijn.

[Sartorius]

Gelukkig komt dat een stuk minder vaak voor, dan het aantal stroomstoringen in sommige DCs.

 

Voor 99,99% mag je max. 52 minuten downtime per jaar hebben, en daar zitten ze nu al overheen.

Verder vind ik dat getal persoonlijk wat minder boeiend.

Als ik mocht kiezen zou ik liever een paar uur per jaar zonder netwerk zitten, dan 1 minuut zonder stroom met het risico op dataverlies.

Maar in de statistieken wordt dat onderscheid helaas nooit gemaakt.

 

Strikt genomen is dat misschien niet gelogen.

De B-feed van het datacenter waar zij ruimte huren deed het nog prima. ;)

Maar wel misleidend, als je je eigen spul niet op beide feeds aansluit, en je klanten dus alsnog plat liggen...

 

 

 

Een ATS van 500 euro heeft me dunkt geen hogere uptime dan een professionele noodstroomvoorziening van een DC die goed getest en onderhouden wordt. Er is zelfs een hele serie APC ATS'en geweest die allemaal hetzelfde probleem hadden en na de eerste omschakeling onbruikbaar werden.

 

99,99% is ook niet een uptime die je zomaar kunt verwachten van een 'standaard' VPS of hostingpakket - dat is eerder 99,9% en zelfs die garantie geven veel partijen niet eens zonder daar voor te betalen.

In een goede SLA wordt doorgaans juist wel onderscheid gemaakt tussen netwerk- en powergaranties. Maar dit ligt uiteraard aan de dienst die je afneemt. Je kunt ook een garantie krijgen op maximaal dataverlies. En als er maar 1 cijfer genoemd wordt is dat een combinatie van al die getallen.

Bovendien, een netwerkstoring kan evengoed zorgen voor dataverlies. In het voorbeeld dat je geeft kan die order of betalingsinformatie ook 'verloren' gaan als er geen netwerk meer is.

 

De info op de site van TransIP is historische info, en geen uptime-garantie. Misschien klopt die 100% nu wel niet meer (het is maar hoe je het bekijkt) - maar het is zeker niet misleidend. Jij lijkt er een garantie aan te ontlenen, maar dat staat er echt niet.

[Maxn]

Een ATS van 500 euro heeft me dunkt geen hogere uptime dan een professionele noodstroomvoorziening van een DC die goed getest en onderhouden wordt.

 

Het probleem is dat het ontwerp van veel professionele datacenters er nu juist vanuit gaat dat iedereen die belangrijk spul heeft draaien, van beide feeds gebruik maakt.

Als je een afkeer tegen ATSen hebt (zelf deel ik deze niet), gebruik dan servers met redundante voedingen, kan ook...

 

99,99% is ook niet een uptime die je zomaar kunt verwachten van een 'standaard' VPS of hostingpakket - dat is eerder 99,9% en zelfs die garantie geven veel partijen niet eens zonder daar voor te betalen.

 

Dat ben ik met je eens.

Men heeft over het algemeen te hoge verwachtingen van low-budget hosting.

Dit wordt echter ook aangewakkerd door de reclame uitingen van sommige aanbieders.

Met het gevolg dat we nu deze thread hebben waar de betrouwbaarheid van cloud diensten in zijn algemeen betwijfeld wordt.

 

 

In een goede SLA wordt doorgaans juist wel onderscheid gemaakt tussen netwerk- en powergaranties. Maar dit ligt uiteraard aan de dienst die je afneemt. Je kunt ook een garantie krijgen op maximaal dataverlies. En als er maar 1 cijfer genoemd wordt is dat een combinatie van al die getallen.

Bovendien, een netwerkstoring kan evengoed zorgen voor dataverlies. In het voorbeeld dat je geeft kan die order of betalingsinformatie ook 'verloren' gaan als er geen netwerk meer is.

 

Het verschil is dat bij een netwerkprobleem je website onbereikbaar is. De klant van je webshop zal dus de bestelling niet kunnen afronden, en dat door hebben.

Bij dataverlies door een stroomstoring kan het zijn dat de klant eerst te zien kreeg dat de bestelling is geaccepteerd, maar de order vervolgens foetsie is...

Vind dat laatste persoonlijk een stuk vervelender.

Of kan het zijn dat je database of bestandssysteem corrupt raakt, en als dat niet automatisch hersteld kan worden, je nog verder van huis bent.

 

Als door een netwerkprobleem de notificatie dat de betaling is voltooid niet is aangekomen, proberen de meeste PSPs het later gewoon nog een keer.

En soms krijg je daar ook proactief een e-mailtje over, zoals bij een bekende bank:

 

Geachte relatie,

We hebben onderstaande iDEAL transacties aangetroffen in het systeem waarvoor geen statusverzoek was uitgevoerd. Voor elke transactie is de eindstatus opgevraagd bij de bank van uw klant. U kunt deze transactiegegevens terugvinden in het iDEAL Dashboard, onder de knop 'Betalingen'.

*lijst met iDeal betalingen die je website gestart heeft, maar waarvan deze niet de status heeft opgevraagd*

 

 

De info op de site van TransIP is historische info, en geen uptime-garantie. Misschien klopt die 100% nu wel niet meer (het is maar hoe je het bekijkt) - maar het is zeker niet misleidend.

 

Nu niet meer?

Hadden ze een jaar eerder ook al niet iets met de stroom?

 

Verder komen storingen overal voor, ook met degelijke apparatuur, maar schep dan geen onrealistische verwachtingen in je reclame uitingen.

 

[R.I.P. - Benm]

Je kunt inderdaad nog veel meer kosten maken om de kans op uitval te verkeinen, maar er is een punt waarop dat niet meer redelijk is. Bovendien moet je op een gegeven moment ook gaan kijken of je nog wel toe kan met 1 datacentrum, die dingen kunnen in theorie ook vernietigd worden.

 

Dat we in nederland soms minder backups inzetten dan in andere landen komt natuurlijk ook omdat de stroom hier domweg niet zo vaak uitvalt. Feitelijk zou ik hier een server op tafel kunnen zetten en op jaarbasis nog 99,9% uptime halen, mits er zowel een adsl als kabelverbinding ligt ;)

 

Wat bij deze storing ook een rol speelde was het tijdstip, en het stilvallen van veel infrastructuur in de regio (treinen, metros's, verkeerslichten, straatverlichting etc) waardoor het sowieso lastig is een techneut snel ter plekke te krijgen.

 

Was het overdag gebeurd dan had er maar zo iemand op locatie kunnen zijn die dat falende aggeraat had kunnen fixen en starten voor de accu's leeg waren.

[Maxn]

Wat bij deze storing ook een rol speelde was het tijdstip, en het stilvallen van veel infrastructuur in de regio (treinen, metros's, verkeerslichten, straatverlichting etc) waardoor het sowieso lastig is een techneut snel ter plekke te krijgen.

 

Was het overdag gebeurd dan had er maar zo iemand op locatie kunnen zijn die dat falende aggeraat had kunnen fixen en starten voor de accu's leeg waren.

 

De accu's zijn bedoeld om de 10 seconden die het duurt om een goed functionerend aggregaat te starten te overbruggen.

Zou van de overcapaciteit geen wonderen verwachten.