Odstávka generování statistik
Odstávka klientské sekce a webmailu
Výjimečně odpoledne dnes odstavíme na zhruba 10 minut stránky klientské sekce, webmail a hostingové stránky. Odstávka proběhne kolem 14. hodiny.
Server byl mimo provoz od 14:03 do 14:06.
Odstávka generování statistik
Výpadek webserveru Kochanski
Odstávka webserveru Kochanski
Webserver byl mimo provoz od 0:37 do 0:42.
Odstávka webserverů
Abel byl mimo provoz od 1:37 do 1:45, Kryton od 1:30 do 1:32. Dnes jsme také zaznameli potíže webserveru Abel v době od 22:45 do 1:15, kdy některé požadavky na webserver nebyly obslouženy, tento problém způsobují požadavky z jedné konkrétní IP adresy, budeme to řešit se správcem příslušného adresního rozsahu.
Odstávka serveru pro statistiky
Dnes došlo k havárii serveru pro počítání statistik, z toho důvodu bylo dočasně přerušeno generování a zobrazování statistik AWStats. Na odstranění problému pracujeme.
Výpadek webserveru Abel
Chvilkové výpadky webmailu
Výpadek webserveru Kochanski
Odstávka webserverů
Doba odstávek: Abel: 1:13 - 1:14, Kochanski: 1:23 - 1:27, Kryton: 1:33 - 1:34.
Výpadek MySQL pro webserver Kochanski
Odstávka webserverů
Odstávka každého webserveru trvala přibližně minutu, některé webservery byly odstaveny dvakrát. Nasadili jsme PHP 4.4.1.
Výpadek poštovního serveru
Výpadek poštovního serveru
Výpadek poštovního serveru
Výpadek - odesílání emailů
Odstávka poštovního systému a klientské sekce
Poštovní systém byl odstaven kolem 3:40 hodin, do provozu byl uveden kolem 8:40. Oproti původnímu plánu odstávky jsme se opozdili zhruba o 3 hodiny, za způsobené problémy se omlouváme.
Odstávka webserverů a databázového serveru Kocour
Každý z webserverů byl mimo provoz přibližně minutu, odstávky proběhly v době mezi 0:54 a 1:03. Nasadili jsme apache 2.0.55. Kocour byl mimo provoz od 2:06 do 2:16, do serveru jsme přidali procesor.
Odstávka databázového serveru MySQL pro server Kochanski
MySQL server byl odstaven ve 2:04, mimo provoz byl necelou minutu.
Výpadek stránek klientské sekce a webmailu, webserveru Kochanski
Odstávka databázového serveru Kocour
Server byl odstaven celkem třikrát, vždy na přibližně jednu minutu (restart databáze), v 0:16, 0:25 a v 0:37. Na serveru byla prováděna úprava konfigurace.
Výpadek webserveru Abel
Výpadek MySQL pro webserver Kochanski
Odstávka poštovního serveru
Odstávka proběhla v době od 1:22 do 1:38.
Výpadek webserveru Kochanski
Známe pravděpodobnou příčinu výpadku, nejedná se o nic vážného. Pro omezení možnosti dalších komplikací bude upravena konfigurace serveru.
Odstávka webserveru Kryton
Přesunuli jsme odstávku na noc ze 16.9. na 17.9.
Server byl mimo provoz od 1:25 do 1:28 a mezi 1:55 a 2:05.
Výpadek webserveru Kryton
Odstávka poštovního serveru
Odstávka trvala 3 minuty, proběhla od 0:14 do 0:17.
Odstávka poštovního serveru
Odstávka proběhla od 1:00 do 1:40 hodin.
Výpadek webserveru Kochanski
Krátký výpadek webserveru Abel
Výpadek konektivity
Vyjádření technického oddělení spol. Casablanca INT:
Vážený zákazníku,
dne 9. srpna 2005 v době od 18:50 do 19:40 došlo k masivním DDoS útokům na některé ze zákaznických technologií umístěných v jednom z Casablanca HC. Tento útok způsobil lokální výpadky konektivity, které byly způsobeny přetížením jednoho z aktivních prvků sítě.
Technickým zásahem dohledových techniků se podařilo útok zastavit a v celá situace byla stabilizována.
Děkuji za pochopení a za způsobené problémy se velice omlouvám.
Odstávka databázového serveru Kocour
Odstávka proběhla bez problémů, server byl mimo provoz od 2:00 do 2:48 hodin.
Výpadek připojení serverů
Problém byl na staně poskytovatele připojení, toto je vyjádření zaměstnance spol. Casablanca INT s.r.o.:
Vážený zákazníku,
dnes 3. srpna 2005 v době od 16:40 do 16:50 došlo k několika krátkodobým, lokálním výpadkům konektivity, které byly způsobeny poruchou jednoho přepínače (switche). Včasným technickým zásahem se podařilo závadu odstranit a v tuto chvíli je celá situace již stabilizována a zcela bez problému.
Děkuji za pochopení a za způsobené problémy se velice omlouvám.
Servisní odstávka webserveru Kryton
Webserver byl mimo provoz od 3:12 do 3:17 hodin.
Zpoždění doručování pošty
Došlo k problémům se spamovými blacklisty, rychlost doručování se vrátila na standardní úroveň v podvečer.
Krátká servisní odstávka - Rimmer, Kocour
Odstávka databázového serveru proběhla mezi 0:44 a 0:46, poštovního serveru 0:54 - 0:56.
Omezení provozu databázového serveru
Odstávka webserveru abel
Odstávka byla odložena na noc z 9.7. na 10.7.
Z technických důvodů byla odstávka opět odložena, tentokrát na noc z 12. na 13.7.
Apache byl mimo provoz 6 minut, od 0:07 do 0:13.
Odstávka poštovního serveru
Odstávka poštovního serveru proběhla v době od 1:30 do 1:43, na krátko byly také odstaveny webservery kochanski (0:45 - 0:47) a abel (0:50 - 0:52).
Výpadek webserveru abel
Krátká odstávka poštovního serveru
Odstávka proběhla v 0:23, trvala 2 minuty.
Výpadek připojení serverů
Výpadek se opakoval, v době od 6:45 do 7:37 nebyly servery dostupné. Čekáme na vyjádření od společnosti Casablanca INT. Tyto dva výpadky se netýkaly poštovního serveru, který ještě nebyl do nové serverovny přemístěn.
Vyjádření spol. Casablanca INT.:
Vážený zákazníku,
dnes 23.06.05 v době od 06.00 do 09:00 došlo k sérii krátkodobých výpadků, které byly způsobeny poruchou jednoho z aktivních prvků sítě. Několika technickými zásahy se podařilo nahradit problémové zařízení a v tuto chvíli je celá situace již stabilizována.
Naši administrátoři a dodavatel technologií nyní analyzují příčinu selhání a podnikají nezbytné technické kroky, aby k podobné situaci v budoucnu již nemohlo dojít.
Děkujeme za pochopení a za způsobené problémy se velice omlouváme.
Odstávka db serveru a webserveru Holly
Odstávka databázového serveru trvala přibližně 4 hodiny, od 1:15 do 5:15. Na serveru současně zhavarovaly dva disky v RAID1 konfiguraci, soubory databází byly na posledním nedotčeném oddíle jednoho z disků. Byl nasazen nový systém na nových discích a vše by mělo běžet tak, jak má. Data v databázích zůstala beze změn.
Odstávka db serveru Kocour
Servisní odstávka - dokončení přesunu serverů
Stěhování začalo přibližně ve 2:20, jednotlivé stroje byly mimo provoz asi 20 minut.
Výpadek webserveru Abel
Poslední dva výpadky webserverů pravděpodobně souvisejí s nastavením parametrů síťového stacku nebo problémy uvnitř samotného démona apache. Bude provedena revize hlídacích psů a problém budeme dále řešit.
Výpadek poštovního serveru
Běh serveru byl obnoven, na serveru je delší fronta nedoručené pošty, v následujících hodinách lze očekávat opožděné doručování.
Výpadek webserveru Kryton
Přetížení databázového serveru
Servisní odstávka - přesun hw
Odstávka proběhla v době od 1:15 do 2:03, přesunuta byla polovina serverů.
Přetížený poštovní server
Noční odstávka tvala 5 minut, od 0:12 do 0:17.
Restart serveru Kochanski
Odstávka proběhla v 0:11, trvala 4 minuty.
Problém v serverovně
V posledních minutách (18:15) dochází ke zhoršení odezev všech našich serverů. Problém je na straně poskytovatele připojení a podle vyjádření pracovníka společnosti by měl být během několika minut vyřešen.
Restart serverů
Odstávka proběhla od 1:35 do 2:02, jednotlivé servery byly mimo provoz od 2 do 8 minut.
Odstávka SMTP serveru
Zpožděné doručování emailů
Výpadek konektivity - databáze, server Abel
Vyjádření spol. Casablanca INT.:
Vazeni zakaznici,
dne 3.5.2005 (utery) mezi 9:30 a 10:00 dojde k prepojovani energetickych okruhu ze strany PRE a kratkodobemu preruseni hlavniho napajeni. Tento vypadek bude pokryt zaloznim generatorem a nedojde k zadnemu omezeni provozu zakaznickych technologii.
S pozdravem
technicke oddeleni
Casablanca INT s.r.o.
K omezení provozu zákaznických technologií bohužel došlo, jeden ze záložních zdrojů našeho poskytovatele uvedené přepojování okruhů nepřestál. Na tento záložní zdroj byl zřejmě připojen router pro webserver Abel a databázový server pro servery Kryton a Abel. U těchto serverů jsme v době od 9:40 do 9:45 zaznamenali výpadek konektivity.
Přetížení serveru Abel
Dnes, 27.4., jsme se rozloučili s klientem, který své stránky používal k nelegálnímu sdílení hudby a způsoboval neúměrnou zátěž serveru Abel.
Přetížení serveru Abel
Administrativní chyby
Zpožděné doručování pošty
Nová verze PHP
Apache na Abelovi byl mimo provoz od 2:25 do 2:26, na Krytonovi od 2:45 do 2:46.
Výpadek napájení
Nová verze MySQL
Odstávka trvala 5 minut, od 0:45 do 0:50.
Problém v serverovně
Zpráva od spol. Casablanca INT:
Vazeni zakaznici,
dnes 14.03.05 v cca 02.00 doslo k poruse jednoho ze zaloznich energetickych systemu v Casablanca HC. Nasledkem toho bylo preruseno napajeni casti elektrickych pripojek.
Jeden ze zaloznich zdroju musel byt z duvodu dalsich moznych komplikaci odstaven a tato cast site zustava zalohovana pouze motorgeneratorem. Na odstraneni zavady se intenzivne pracuje a k prechodu na plne zalohovany provoz dojde jeste dnes v odpolednich hodinach. O dalsim postupu jako i o obnoveni plne zalohy Vas budeme informovat.
Za zpusobene problemy se velice omlouvame.
[...]
Po obnovení napájení naběhly všechny postižené systémy s výjimkou databázového systému PostgreSQL, jehož činnost byla obnovena v 6:10 ráno.
Výpadek serveru Kryton
Výpadek připojení
Krátká servisní odstávka webserverů
Servis proběhl kolem 2. hodiny ranní, doba odstávky každého serveru nepřekročila minutu.
Výpadek odesílání emailů s přílohou
Krátké přetížení serveru kryton
Servisní odstávka PostgreSQL
Odstávka byla krátká, od 0:42 do 0:44 hodin.
Krátké přetížení databázového serveru
V noci proběhne asi dvacetiminutová odstávka webserveru kryton, výměna hardware.
Výměna proběhla bez problémů, server byl mimo provoz od 2:42 do 3:37, náhradní server byl vyměněn za původní. Poruchy tohoto původního serveru byly způsobeny vadnou pamětí. Poškozené moduly byly nahrazeny za otestované ECC moduly bez chyb. Byla provedena kontrola souborových systémů.
Výpadek připojení
Vyjádření od spol. Casablanca INT:
Vazeni zakaznici,
dnes 25.1.2005 v cca 14:00 doslo k problemu v ceskem peeringovem centru NIX, ktery se dotknul nekolika operatoru vcetne Casablanca INT. Pricinu teto situace stale jeste analyzujeme, nicmene z nasi strany byla behem 15ti minut techniky znovu cela sit zprovoznena. Mensi vypadky a nedostupnost nekterych siti mohly trvat do 15.15, kdy doslo k prechodu na bezny provoz.
Za zpusobene problemy se velice omlouvame.
Havárie serveru Kryton
V 14:45 bylo zjištěno, že došlo zřejmě k poškození raid pole. Na odstranění závady intenzivně pracujeme.
16:10 probíhá rekonstrukce diskového pole. Server bude opět v provozu do 30 minut, všechna data by měla být v pořádku.
16:40 provoz webserveru byl obnoven
Výměna serveru Kryton
Server byl opětovně spuštěn v 0:20 na náhradním stroji. Pravděpodobně zítra v nočních hodinách proběhne nasazení nového serveru.
Výpadek jednoho webserveru
Porucha připojení
Vyjádření od spol. Casablanca INT:
... dnes pred 15. hodinou doslo k problemu na jednom nasem hranicnim routeru. Tento problem zpusobil velkou ztratovost vetsiny destinaci v NIXu trvajici asi 15 minut. Za zpusobene problemy se omlouvame....
Od 18:50 do 19:10 se výpadek opakoval, podle telefonického vyjádření pracovníka spol. Casablanca INT šlo o stejný problém.
Nové jádro
Odstávka proběhla mezi 2. a 3. hodinou ráno, servery byly mimo provoz od 2 do 12 minut.
Výpadek jednoho z webserverů
Včera odpoledne byl kryton několik minut mimo provoz, bylo nutné server restartovat.
V těchto dnech zároveň pracujeme na přesunutí části domén na druhý webserver.
