Výpadek elektřiny v datacentru Master internet sobota večer.

[taupo]

Me uz telefonovani funguje.

[o-k]

Dobry vecer
Ted se divam ze v 19:35 mi prisly emaily "watchdog" ze neni zadna linka prihlasena. O 10min pozdeji jiz prisly emaily ze linky jsou prihlaseny ale volat neslo ani na echotest.
Kazdopadne at se zadari opravit vypadek pokud mozno bez elektrickeho poskozeni serveru ke kteremu mohlo dojit.
Ono zalohovat napajeni neni az tak uplne jednoduchy. Je sice fajn mit vlastni trafo, dieselagregat, ups ale kdyz vyhori rozvadec co je az za tim vsim tak samozrejme je vse pro kocku prestoze z rozvodne site jde elektrina, diesel je v poradku a ups taky tak je serverovna na suchu.
Takoveto veci se nejcasteji resi zaloznima serverama v geograficky odlisne lokalite coz znamena znacne naklady navic spojene s hardwarem, housingem .... a to by se muselo promitnout do koncovych cen pro zakaznika coz bychom urco nechteli tak nebudeme nadavat a v klidu nechame pracovat ty kteri meli v sobotu volno a nenadala zavada je nahnala do prace.

[Kabek]

Už to je asi OK!!!!

[michaels]

Ne úplně. Odkaz na Linky https://www.odorik.cz/ucet/linky.html vrací

[mobilemanic]

Tak mobily už jo, ale SIP linky zřejmě furt nic

[taupo]

Jo, vsechno uz bezi, ted uz i "linky".

[mobilemanic]

no, linka je sice zaregistrovaná, ale nedovolám se na ni :/

[vce]

Já jsem se včera večer poprvé znovu dovolal přes Odorika ve 21.54 hod. Jaký byl celkový průběh výpadku, jeho příčiny a opatření ke zjednání nápravy?

[vpar]

Holt si člověk nevybere, všichni občas vypadnou a nevyhýbá se to ani velkým (někdy v prosinci nešly celý večer TMo předplacenky a virtuálové na odchozí hovory, prý ani tísňové volání nešlo). Příčinou je efektivita a centralizace služeb, kdy tam, kde před pár lety vypadlo volání v jedné čtvrti, dnes nejde v celém státě. Operátor s tím samozřejmě kromě složitých a drahých failover řešení (kde je to ale vždycky o strach jestli se nerozsynchronizuje databáze nebo se stroje nebudou přetahovat) moc nenadělá, takže je řada na zákazníkovi. Koncák si musí uvědomit, že služby občas nefungujou (ale jsou levné/ziskové), většinou v ten nejhorší moment a mít po ruce aspoň simkartu z jiné sítě. Někdy mu ani to nepomůže (třeba když loni vypad proud v půlce prahy, mobilní sítě dole -něco po cestě nebylo zálohované, internetové připojení samozřejmě vypadlé, pevná linka není... )

Spolehlivost je jeden z důvodů nemít všechno u jednoho poskytovatele, zvlášť menšího - pak se může lehko stát, např. když mu datacentrum lehne popelem, že nebudete týden volat ani z pevné ani z mobilu, což zamrzí, zvlášť pokud na číslo volají zákazníci... Samozřejmě, i u Telecomu se semtam stalo, že někde ústředna shořela, ale pak zbyl aspoň ten mobil...

[xsouku04]

Já jsem se včera večer poprvé znovu dovolal přes Odorika ve 21.54 hod. Jaký byl celkový průběh výpadku, jeho příčiny a opatření ke zjednání nápravy?

U Master Internet byl u části našich strojů krátký výpadek elektřiny a to i přesto, že vše je zálohováno a docházet by k tomu nemělo.
Po restartu těchto strojů se vyskytl záhadný, a vypadá to, že nám zatím neznámý, problém s routováním, kdy jednotlivé ip adresy a virtuální servery sice viděli do internetu, ale neviděli se navzájem mezi sebou. Proto se jistou dobu šlo např. připojit na sip.odorik.cz, nešlo ale volat jinam než v síti. Proč přesně se to stalo stále nevíme a budeme to nyní šetřit.
Je pravděpodobné, že to nějak souvisí s tímto již známým problémem.
https://bugzilla.openvz.org/show_bug.cgi?id=2844 (Pan Jaroslav Marák, který onen trouble ticket otevřel i vysvětlil, má zde na fóru přezdívku admin )
Jeden ze serverů byl chybně nastaven, což se projevilo po restartu. Proč přesně ale nefungovaly korektně ani ostatní, zatím nevíme.
V každém případě, kdyby opět došlo ke stejnému výpadku elektřiny, již by to byla záležitost kratší než půlhodina, protože máme postup jak to zprovoznit. Jádro problému je ale třeba ještě prozkoumat zatím tomu nerozumíme.