De laatste updates
15 mei 10:00 Alle klanten hebben weer volledig functionaliteit, het is nu de puntjes op de i zetten en de servers die we weer in Almere online komen controleren en eventueel bijschakelen in Frankfurt. Er zullen nog verschillende puntjes moeten worden opgelost echter de grootste crisis is nu achter de rug.
13 mei 20:00 Stroomvoorziening is hersteld in Almere datacenter, we monitoren het beschikbaar komen van onze hosts. Netwerkverbindingen tussen Frankfurt en Almere zijn gelegd zodat bij herstel van functionaliteit in Almere er geschakeld kan worden tussen Frankfurt en Almere. Hiermee zijn de eerste voorbereidende stappen gezet om de komende week mogelijk VM’s te migreren van FRA naar AMS. Als we zekerheid hebben van stabiliteit in Almere zullen we testen gaan uitvoeren. Alles is in gereedheid gebracht om VM’s van Frankfurt naar Almere live te migreren.
13 mei 8:00 Alle klanten hebben toegang tot hun omgeving in Frankfurt, het komt nu neer op controle of alles functioneert en we nog kleine aanpassingen moeten doen. In Almere is de portal weer zichtbaar en verschijnen ook klant servers weer, vandaag zal er gefocust worden op correcte functionele toegang voor klanten in Frankfurt. Daarnaast elke twee uur controle of in Almere servers weer online komen zodat we een keuze hebben of functionaliteit verplaatst wordt naar Almere of in Frankfurt blijft.
12 mei 9:00 Steeds meer functionaliteit wordt hersteld en in de portal van IBM zien we dat servers weer aan te zetten zijn alleen is er nog geen connectiviteit naar de buitenwereld. We blijven inzetten op functieherstel in Frankfurt aangezien het kunnen aanzetten van de servers in Almere met netwerkfunctionaliteit nog geen garantie geeft voor correct functioneren van de servers. Daarnaast zijn er klanten die al nieuwe data hebben geproduceerd en we aan een plan werken om data die nog ontbreekt te synchroniseren met de nieuw opgezette omgeving.
11 mei 12:30 Steeds meer klanten komen online en kunnen beginnen met testen. Er is een call geweest met IBM waarin ons is verteld dat vandaag de netwerkverbindingen in Almere worden hersteld en de verwachting is dat deze vanavond worden getest. Vanaf UTC 17:30, onze tijd 19:30 10 mei verwacht IBM tussen de 48 en 72 uur gecontroleerd servers weer aan te zetten. Zaal 1 is dusdanig heet geweest dat servers in deze ruimte fysiek worden verplaatst naar ruimte 2 of 3 en getest op werking. We moeten nu voor bepaalde VM’s beslissen of we data die we vanwege archief functie of minder relevante data gaan restoren in Frankfurt of dat we wachten totdat de servers weer worden aangezet. Vooralsnog gaan we door met functieherstel in Frankfurt voor onze klanten en zijn bezig met een plan om bij herstel van AMS03 klanten terug te migreren. Focus ligt nu nog steeds op functieherstel.
10 mei 20:30 De laatste restores vinden plaats, monitoring van de server omgeving in Frankfurt is ingericht.
10 mei 17:37 Bericht van IBM gehuisvest in NorthC datacenter: Wij schatten in dat we nog 48 tot 72 uur verwijderd zijn van het moment waarop we kunnen beginnen met het herstellen van de verbindingen voor klanten naar Amsterdam 03. Wanneer wij zover zijn om de omgeving te herstellen (niet eerder dan over 48 uur), zijn wij van plan deze te herstellen naar de staat waarin deze verkeerde voorafgaand aan de storing (voor zover dit mogelijk is).
10 mei 7:00 Ook vandaag staat in het teken van het restoren van backups naar het ingerichte cluster en verder inrichten van netwerk routeringen. Dit zal wederom de hele dag in beslag nemen. Ondertussen zijn zo’n 90% van alle virtuele servers weer hersteld.
10 mei 3:00 Bericht van IBM (gevestigd in NorthC Datacenter) De werkzaamheden voor het herstellen van de toegang van klanten tot resources in Serverruimte 2 en Serverruimte 3, evenals de verplaatsing van apparatuur van Serverruimte 1 naar Serverruimte 3, verlopen volgens plan.
9 mei 21:52 De hele dag hebben restores van VM’s plaatsgevonden en steeds meer klanten krijgen weer (gedeeltelijk) toegang tot hun omgeving. Enkele grote database en fileservers hebben een lange restoretijd en betekent voornamelijk wachten tot alle data over is. Voor zondag staat verder herstel van data op het programma en herstel van Zabbix monitoringservers.
9 mei 6:00 De eerste klanten hebben weer toegang tot functionaliteit, restoren van VM’s en aanleggen van netwerk connecties gaat de hele zaterdag in beslag nemen.
9 mei 3:00 Bericht van IBM (gehuisvest in NorthC Datacenter): Na de eerste inspectie en beoordeling door IBM zijn alle drie de serverruimtes intact; er is geen zichtbare rook- of waterschade. Serverruimte 1 is nog steeds zonder stroom vanwege onbruikbare aangrenzende nutsvoorzieningen en koelsystemen. De nutsvoorzieningen en koelsystemen voor Serverruimte 2 en Serverruimte 3 lijken intact; er zijn echter extra acties op het control-plane niveau vereist om de toegang voor klanten te herstellen. Het herstelplan om de klanttoegang tot resources in Serverruimte 2 en Serverruimte 3 te herstellen, terwijl tegelijkertijd de migratie van apparatuur en werklasten van Serverruimte 1 naar Serverruimte 3 wordt gepland, verloopt volgens verwachting. IBM werkt 24 uur per dag en we verwachten dat deze acties enkele dagen in beslag zullen nemen. IBM blijft streven naar transparante communicatie en zal updates verstrekken naarmate we vorderingen maken met deze werkzaamheden. IBM blijft klanten adviseren om hun disaster recovery-protocollen te activeren of geactiveerd te houden, terwijl de beoordeling en mogelijke herstelwerkzaamheden in beraad zijn.
8 mei 17:15 Bericht van NorthC m.b.t. DC Almere (AMS03): Op basis van de eerste bevindingen van het technisch onderzoek kunnen wij u meer duidelijkheid geven over de hersteltijd. De werkzaamheden om de stroomvoorziening te installeren en de klantapparatuur gefaseerd weer van stroom en koeling te voorzien, neemt naar verwachting tot 72 uur in beslag. Het plaatsen van een groot aantal generatoren, UPS-systemen en verdelers, alsmede het trekken van ruim een kilometer kabel is een complexe operatie. Onze teams werken dag en nacht door om dit zo snel mogelijk te realiseren.
8 mei 16:50 De eerste functionaliteiten komen weer online Frankfurt, het restoren van VM’s gaat door, enkele tientallen TB’s zijn al teruggezet en VM’s gestart.
8 mei 14:00 Restore acties van VM’s zijn in volle gang, er moeten TB’s uit de backup naar de nieuwe clusteromgeving gekopieerd worden, dit kost veel tijd.
8 mei 10:40 Eerste restores worden uitgevoerd, een aantal VM’s zijn gemigreerd naar Groningen en verwachting is dat we binnen enkele uren een aantal klanten weer kunnen activeren.
8 mei 06:30 Technici zijn de hele nacht bezig geweest met het inrichten van het disaster recovery cluster in Frankfurt, verwachting is dat vanmorgen wordt gestart met de eerste restore acties van klantomgevingen en dat dit de komende dagen in beslag zal nemen.
8 mei 04:00 De beoordelingswerkzaamheden van NorthC in het datacenter in Almere zijn nog in volle gang. De focus ligt hierbij op het vaststellen van de omvang van de schade, de impact op de onderliggende stroominfrastructuur en de bijbehorende tijdlijnen voor herstel. De vrijgave voor technici om toegang te krijgen tot de faciliteit is nog in afwachting van de voltooiing van de evaluatie door NorthC. Men blijft klanten adviseren om hun disaster recovery-protocollen (noodplannen) te activeren of te handhaven zolang de beoordeling en mogelijke herstelwerkzaamheden worden geëvalueerd.
8 mei 00:31 Netwerkplan disaster recovery omgeving vastgelegd.
7 mei 21:45 NorthC brengt momenteel de omvang van de schade en de bijbehorende tijdlijnen voor herstel in kaart. De brand is naar verluidt onder controle, waardoor NorthC nu onderzoek kan doen naar de impact op de onderliggende stroominfrastructuur en de juiste beheersmaatregelen kan vaststellen. NorthC blijft klanten adviseren om hun disaster recovery-protocollen (noodplannen) te activeren of te handhaven zolang de beoordeling en herstelwerkzaamheden worden geëvalueerd. We gaan dan ook door met de inrichting van een nieuwe omgeving in Frankfurt.
7 mei 19:30 Inmiddels zijn de servers in Frankfurt beschikbaar en zijn we de infrastructuur softwarematig aan het inrichten.
Wat is er gebeurd?
Donderdagochtend 7 mei 2026 8.45 uur heeft zich een ernstig incident voorgedaan in het NorthC Datacenter in Almere van waaruit wij gezamenlijk met IBM diensten leveren. In het datacenter is een grote brand ontstaan in een compartiment aan de achterzijde van het gebouw waar zich onder meer de noodstroomvoorzieningen bevinden. Om de veiligheid van hulpdiensten te waarborgen en om brandgevaar in de andere gebouwdelen te voorkomen is de stroomvoorziening voor het gehele datacenter uitgeschakeld.
De hulpdiensten zijn volop bezig om de brand onder controle te krijgen. Zie de volgende publieke informatie: https://nos.nl/artikel/2613443-enorme-rookpluimen-boven-almere-door-grote-brand-in-datacenter
Het vervolg (donderdag 14:00)
De verwachting is dat het nog enkele uren zal duren voordat een sein “brandmeester” gegeven kan worden. Na dit signaal zullen er waarschijnlijk nog nablus activiteiten zijn en zal de brandweer een controle doen op de veiligheid van de locatie. De beheerder van het datacenter, zal nadat brandweer groen heeft gegeven, een inventarisatie doen van de maatregelen die nodig zijn om het datacenter weer operationeel te krijgen. Onze inschatting is dat het datacenter de komende dagen nog niet per direct operationeel zal zijn. Daarvoor is de schade aan elektrische installaties, de koelinstallaties en wellicht ook datacenteromgeving wellicht te groot.
Daarom zijn wij volop bezig met het opbrengen van de benodigde infrastructuur op een andere locatie (Frankfurt, Duitsland). Dit doen we om snel te kunnen schakelen, onafhankelijk van de ontwikkelingen in het datacenter in Almere. De benodigde servers en storage voor deze omgeving zijn deze ochtend aangezet en worden op dit moment gereed gemaakt voor gebruik. Zodra deze omgeving beschikbaar is zullen wij de functionaliteit van de diensten gaan herstellen. De verwachting is dat wij donderdagavond of in nacht van 7 mei 2026 de infrastructuur kunnen inrichten en vrijdag starten met het restoren van de data.
Helaas is er op dit moment nog geen bevestigde hersteltijd. We adviseren eenieder rekening te houden met een mogelijk langere verstoring.
De situatie wordt continu geëvalueerd in nauwe afstemming met de leverancier van het datacenter en andere betrokken partijen. Op basis van de huidige informatie zijn back-ups van beschikbaar en opgeslagen buiten het getroffen datacenter. Er zijn op dit moment dan ook geen aanwijzingen dat er data verloren is gegaan.
Klanten worden actief geïnformeerd via directe communicatiekanalen. Daarnaast worden updates gedeeld zodra er nieuwe ontwikkelingen bekend zijn.
