Laajavaikutteinen häiriö Nebulan Lauttasaaren konesalissa 12.9.2017
Selvitys tapahtuneesta:
Tiistaina 12.9.2017 merkittävä osa asiakkaillemme Lauttasaaren konesalista tuotettavista palveluista kärsi laajavaikutteisesta häiriöstä. Häiriö havaittiin Lauttasaaren konesaliverkossa kello 06.00 alkaen. Ongelmanselvitys ja korjaustoimenpiteet käynnistettiin välittömästi allokoimalla toisessa konesalissamme käynnissä olleen tietoliikenneverkon huoltotyön resurssit havaitun ongelmatilanteen selvittämiseksi.
Kyseessä oli laajavaikutteinen häiriö, joka aiheutui ohjelmistovirheestä Lauttasaaren konesaliverkossa. Konesaliverkon komponentit ovat kaikki kahdennettuja, mutta ohjelmistovirhe aiheutti kuitenkin käytännössä vaiheittain laajenevan häiriön. Suurin osa häiriön piirissä olleesta kapasiteetista saatiin takaisin käyttöön klo 10:45. Asiakkaiden palveluiden korjaustoimenpiteitä jatkettiin läpi yön kaikilla käytettävissä olleilla resursseilla.
Korjaavat toimenpiteet:
Tilanne asiakkaiden palveluiden osalta on saatu stabiloitua. Tehtyjen korjaavien toimenpiteiden myötä olemme onnistuneet pienentämään riskiä vastaavasta häiriöstä. Lopullisten konesaliverkon korjaustoimenpiteiden suunnittelu on käynnissä laitetoimittajan kanssa.
Pahoittelemme asiakkaillemme häiriöstä aiheutunutta haittaa.
A widespread disruption at Nebula’s Lauttasaari data center on September 12th 2017
Clarification of the incident:
A substantial part of the services produced for our customers at Lauttasaari data center suffered a disruption on Tuesday September 12th 2017. The disruption affecting the Lauttasaari data center was first detected at 6:00 am. The examination for the cause of the problem and the corrective measures took place immediately after the issue was detected, by allocating the resources of an ongoing data network maintenance process to resolving the detected issue.
The disruption was caused by a programming error in the Lauttasaari data network. Although the components of the data network are duplicated, the programming error caused a gradually spreading outage. Most of the capacity affected by the issue was restored by 10:45. The corrective measures were continued throughout the night by using all available resources.
The corrective measures:
The issues affecting the customers’ services have been stabilized. Due to the corrective measures, we are now able to reduce the risk of similar issues. We are currently investigating the solutions for the definitive corrective measures with the equipment supplier.
We apologize for any inconvenience caused by the disruption.
---
Olemme havainneet häiriön Lauttasaaren konesalissa, häiriö vaikutti osaan palveluista.
- Virtualisointialustat
- Pilvi 9.0 Helsinki-1 saatavuusalue
- Webhotel Pro-alusta
- Sähköpostipalvelut
- Nebula Boksi
- mysql22.nebula.fi
Vian korjaus on työnalla. Häiriötä korjataan korkealla prioriteetilla. Pahoittelemme häiriötä.
We have discovered failure in our site in Lauttasaari.
The failure influence to some of the services.
- Virtual platforms
- Cloud 9.0 Helsinki-1 availability zone
- Webhotel Pro services
- Email services
- Nebula Box services
- mysql22.nebula.fi
The failure repairing tasks is under work with highest priority. We apologize for the service interruption.
- Päivitetty 14.09.2017 10:15