Vyjádření k řešení energetických problémů housingu

Ve čtvrtek 3.3. a v pátek 4.3. došlo k havárii v rozvodné síti datacentra Nagano našeho poskytovatele serverhousingu Dial Telecom. Poskytovatel přijal nápravná opatření a síť stabilizoval. Z důvodu havárie však došlo k několika výpadkům a plánované odstávce napájení v celém serverhousingu a tím k nedostupnosti většiny našich služeb. Havárie měla bohužel natolik ojedinělý charakter, že jsme ji sami nemohli ovlivnit a výpadkům služeb nešlo předejít.

Délka samostatných výpadků napájení se pohybovala mezi 10 a 30 minutami. Bylo však nezbytné postupné spuštění serverů a služeb spolu se zjišťováním a nápravou škod vzniklých havárií. Některé služby proto byly mimo provoz delší dobu. Na dvou serverech bylo nezbytné provést obnovu dat ze záloh. O problémech a vývoji situace jsme průběžně informovali na stránce odstávek a výpadků.

Problémy v rozvodové síti poskytovatele byly způsobeny špatným rozložením technologií a celkovým přetížením sítě. Tyto problémy byly vyřešeny vzájemnou spoluprací poskytovatele a zákazníků, přepojením zákaznických technologií a stabilizací sítě. Poskytovatel dále intenzivně pracuje na přijetí dalších opatření, které zamezí možnosti obdobného výpadku v budoucnu. Od poskytovatele jsme obdrželi vyjádření, které následuje.

Vážení zákazníci,
ve dnech 3. - 4. 3. 2011 bohužel došlo k několika výpadkům části technologie v housingovém centru Nagano. Dovolte, abychom Vás touto cestou informovali o příčině výpadků, způsobu řešení a přijatých opatřeních, aby k podobné situaci již nemohlo dojít.

Dne 3. 3. 2011 v 9:20h došlo k prvnímu výpadku podpůrné technologie naši hlasové ústředny a části služeb Housing v datovém centru Nagano. Samotná ústředna hlasových služeb výpadkem postižena nebyla. Příčinou byla technická závada na 3F jističi na jedné z distribučních cest napájení datového centra Nagano, který byl v 9:45h vyřešen operativním zásahem technika na místě.

Následné byla naplánována a připravena servisní akce, která měla zamezit opakování podobného problému. Tato měla proběhnout v noci z 3. - 4. 3. 2011 v době slabého provozu kvůli minimalizaci dopadu na služby Housing a bez dopadu na funkčnost hlasových služeb. Protože ale 3. 3. 2011 v 12:33-12:41h došlo k druhému výpadku napájení na stejném napájecím okruhu, který způsobil stejný prvek, rozhodli jsme se provést definitivní opravu okamžitě. V souvislosti s těmito servisními pracemi došlo ještě k jednomu krátkému výpadku V době cca 14:30-14:35, při kterém byl vadný 3F jistič vyměněn.

Po výměně jsme ve spolupráci s technickým partnerem provedli kontrolu napájecích tras a provedli změny v topologii napájení technologie a vybalancováni zátěže na jednotlivých okruzích. Současně jsme zkontrolovali funkčnost prvků zajištujících distribuci elektrické energie v housingovém centru Nagano. Navzdory těmto opatřením došlo bohužel v pátek 4. 3. 2011 v době 10:44-10:50 k opakovanému výpadku malé části služeb VOIP a Housing v housingovém centru Nagano. Díky přítomnosti techniků v Naganu, kteří kontrolovali stav technologii po opravě z předchozího dne, byla příčina výpadku odhalena a opravena víceméně okamžitě.

Při následné kontrole a přeměřením napájecích tras jsme zjistili, že tento opakovaný výpadek souvisel s událostmi z předchozího dne. Díky tomu, že část zákaznických technologií byla kvůli výpadkům ze dne 3. 3. 2011 odpojena a opětovně spouštěna až během noci, došlo znovu k lokálnímu přetížení jednoho okruhu a krátkému výpadku napájení na tomto okruhu.

V rámci řešení a ve spolupráci se všemi zákazníky zapojenými na tomto napájecím okruhu došlo k dalšímu přerozdělení zátěže a revizi technologie. Následná kontrola a měření již prokázaly rovnoměrné rozdělení zátěže na jednotlivých napájecích okruzích a funkčnost všech ochranných a řídících prvků při maximální možné zátěži. Výpadek způsobený podobnou chybou napájení by se tedy již neměl opakovat a v současnosti se naše technické provozy v Naganu nacházejí ve standardním provozním stavu.

Abychom opakování podobných výpadků zabránili, provedli jsme níže uvedené nezbytné provozní a procesní změny a opatření:

1. revize a zpřísnění režimu zajišťování přístupů a provádění servisních prací v housingovém centru Nagano
2. mimořádná fyzická revize a detailní měřění parametrů všech napájecích okruhů a prvků zajišťujících napájení v housingovém centru Nagano
3. zavedení nového způsobu řízení a kontroly energetické bilance housingového centra Nagano
4. technický upgrade dohledu nad provozními parametry prostředí housingového centra Nagano

Věříme, že přijatá opatření a technické změny zajistí bezproblémové fungování housingového centra Nagano v budoucnosti. Vážení zákazníci, velice se Vám omlouváme za způsobené nepříjemnosti.

V závěru bychom Vás rádi informovali, že společnost Dial Telecom disponuje dalšími housingovými centry s vyšší garancí kvality služeb, v případě zájmu můžeme nabídnout přesun Vaší technologie do těchto center.

Ingrid Ledererová
technická ředitelka společnosti

Dle ujištění bude zlepšena kontrola ze strany poskytovatele serverhousingu, takže případné vznikající problémy by měly být v budoucnu včas odhaleny. Zároveň s poskytovatelem spolupracujeme na minimalizaci možnosti vzniku problémů s napájením v budoucnu.

Za problémy, které výpadky způsobily našim zákazníkům se velmi omlouváme. Možnosti opatření na naší straně v reakci na vzniklou situaci ještě zvažujeme a projednáváme. Pravděpodobně přesuneme část serverů z naší páteřní sítě do jiného datacentra a zvýšíme redundanci záložní napájecí kapacity. Tyto úpravy budeme provádět tak, aby se běžného provozu našich služeb nedotkly vůbec, nebo jen minimálně.

Děkujeme za pochopení a pevně věříme, že i tato nepříjemná havárie povede ve výsledku ke zkvalitnění zázemí našich služeb a jejich dalšímu zlepšení.