Výpadek TMobile - týká se i Odoriku

Potíže a možnosti při volání ze sim karet Odorik.cz
Uživatelský avatar
xsouku04
Administrátor
Příspěvky: 8146
Registrován: pát 15. říj 2010 11:11:44
Bydliště: Brno
Kontaktovat uživatele:

Re: Výpadek TMobile - týká se i Odoriku

Příspěvek od xsouku04 »

pedrysek7 píše:No jsme zvědavý, jak to s T-Mobilem dopadne. Mám vážné obavy, že to nepoběží určitě celý víkend. Těžko říci, ale myslím si, že T-Mobile šetří peníze na špatném místě tj. na IT infrastruktuře a taky by mě zajímalo, co by se stalo, kdyby se to neobnovilo.
Byl jsem schválně na prodejně T-Mobile a pracovník říkal, že to v nejlepším případě vidí na pondělí, pokud ano, bude to zázrak.

Mám dotaz na Odorika:
1) Jak to má zajištěn Odorik, zda data běží současně třeba na 2-3 databázích najednou a zda jsou od sebe geograficky oddělené v případě třeba požáru, výbuchu apod.

2) Vůbec se v tom nevyznám, ale je možné, že v případě závady na datovém poli, kde má T-Mobile uloženy veškerá data, je možné tato data komplektně obnovit bez problémů ze zálohy a jak to dlouho může v případě T-Mobile trvat?
Je vůbec možné, že by měl T-Mobile jako obří společnost, vše pouze na jednom datovém uložišti v Hradci Králové a souběžně neběžel systém v jiné lokalitě na území ČR?

3) Zajímalo by mě, jak toto mají zařízené třeba banky typu KB, ČS, ale i menší Fio banka či Hello bank. Zda jedou současně na více databází či zda se toto může stát jako u T-Mobilu. Ztráta dat u bank v případě totálního pádu a nemožnosti obnovy, to pak musí být úplná katastrofa. To si nedovedu vůbec představit.

Hezký večer
O detajlech, jak je to u T-mobile, bohužel nic nevím, mohu usuzovat jen ze všeobecně známých informací. A i kdybych něco věděl, tak jsem vázán mlčenlivostí. Osobně si myslím, že teoreticky všechno bylo uděláno dobře (takové diskové pole někdo prodává za miliony a jistě má alespoň teoreticky všechno ošetřené - aby se to lépe prodávalo), jen to jaksi nezafungovalo. Ono takové speciální diskové pole je mnohem dražší, než kdybyste stejnou diskovou kapacitu nastrkali do obyčejných počítačů s SSD disky a třikrát ji zálohovali v reálném čase. U předraženého diskového pole musí dodavatel vymyslet nějaké pohádky o tom, proč je to jeho diskové pole lepší a spolehlivější řešení. A prodat to stejné pole do více lokalit je výborný obchod. Problém může být třeba v tom, že všechny zálohy, co se ukládají v reálném čase, selhaly (nelze překlopit) a obnova ze záloh může trvat i desítky hodin, protože nejsou schopni data obnovovat postupně v pořadí podle jejich důležitosti. Nejpravděpodobnější mi přijde lidská chyba.
Co se týče události jako výbuch nebo pád letadla. V praxi je mnohonásobně větší pravděpodobnost, že problém bude v něčem jiném. Např. vytopení vodou (stačí, když praskne trubka s klimatizací), nebo se poláme klimatizace, a aby se vše neuvařilo, budou nuceni téměř všemu vypnout elektřinu. Na požár bývají datacentra připravena dobře, tedy nepovažuji je příliš za pravděpodobnou, hasí se speciálním plynem, který nejspíš jen tak z ničehonic neselže a neodmítne lahev opustit. Co je ale mnohem běžnější, je překopnutý optický kabel a desítky minut, než provoz opravdu začne chodit jinudy (pokud vůbec). Nebo nějaká nekalá válka mezi různými dodavateli konektivity, co si pak dělají naschvály, aby se tím mohli vydírat (myslím, že se stalo).

Co se týče odoriku, tak v databázi v reálném čase klonujeme na několik dalších disků, co jsou sice ve stejné budově, ale ne na stejném místě a ne ve stejném patře (proti zatopení a lokálnímu požáru důležitý detail). Kdyby se něco vážného stalo, mám obavy, že bychom nebyli schopni provoz obnovit v řádech několika minut, spíše by to mohly být desítky minut, možná i hodiny. I když teoreticky by to mělo trvat jen několik minut, v praxi čekám, že se k tomu nějaké problémy nabalí. Chceme nyní přejít na klonování disku v reálném čase na jiný stroj pomocí souborového systému zfs, na který chceme přejít. (kromě součásného klonování na úrovni databáze) Tam by bylo spuštění databáze ze záložního stroje podstatně jednodušší a je pravděpodobné, že by se to opravdu podařilo v řádech minut a nějaké vedlejší komplikace by byly téměř vyloučeny. Mít stroje ve více lokalitách má smysl až tehdy, když bude u nás vše podstatnější dokonalé a lokalita bude tím nejslabším místem.
alfi
Příspěvky: 718
Registrován: čtv 03. led 2013 15:31:10

Re: Výpadek TMobile - týká se i Odoriku

Příspěvek od alfi »

pedrysek7 píše: 2) Vůbec se v tom nevyznám, ale je možné, že v případě závady na datovém poli, kde má T-Mobile uloženy veškerá data, je možné tato data komplektně obnovit bez problémů ze zálohy a jak to dlouho může v případě T-Mobile trvat?
Je vůbec možné, že by měl T-Mobile jako obří společnost, vše pouze na jednom datovém uložišti v Hradci Králové a souběžně neběžel systém v jiné lokalitě na území ČR?

3) Zajímalo by mě, jak toto mají zařízené třeba banky typu KB, ČS, ale i menší Fio banka či Hello bank. Zda jedou současně na více databází či zda se toto může stát jako u T-Mobilu. Ztráta dat u bank v případě totálního pádu a nemožnosti obnovy, to pak musí být úplná katastrofa. To si nedovedu vůbec představit.
IMHO to udělat 100% spolehlivé po dobu desítek let nikdy nejde. Vždycky může něco selhat a výsledek bude 99,999něco%. Pokud vím, TM ty diskové pole teď odešly dvě, druhé bylo nejspíš to záložní... Data ze záloh obnovit jdou, má to dvě ALE:
- není to aktuální stav ve chvíli výpadku, ale třeba den až týden stará data (zase pořád lepší, než vůbec nic. Pokud je dostupný i log transakcí od zálohy, dají se zopakovat)
- dost dlouho to trvá. Dnešní disky jsou sice rychlé, ale taky velké. Jestli dobře počítám, třeba 10TB na disku s rychlostí 3gbit/s se dá zkopírovat nejdřív za cca 8h - a nesmí se u toho nic znovu pokazit, jinak se začíná odznova.

Jinde se to stává taky - např. zrovna v neděli večer několik hodin nejel prodejní systém regiojetu, nešlo nic koupit, zrušit, všechny rozhraní hlásily "nedostatek místa na disku" :-) Občas se to stává i bankám (https://www.penize.cz/internetbanking/4 ... l-pise-fio, i když tady je to spíš kvůli přetížení) nebo velkým cloudovým poskytovatelům (https://www.readitquik.com/articles/clo ... ked-havoc/)
Uživatelský avatar
xsouku04
Administrátor
Příspěvky: 8146
Registrován: pát 15. říj 2010 11:11:44
Bydliště: Brno
Kontaktovat uživatele:

Re: Výpadek TMobile - týká se i Odoriku

Příspěvek od xsouku04 »

alfi píše:
pedrysek7 píše: 2) Vůbec se v tom nevyznám, ale je možné, že v případě závady na datovém poli, kde má T-Mobile uloženy veškerá data, je možné tato data komplektně obnovit bez problémů ze zálohy a jak to dlouho může v případě T-Mobile trvat?
Je vůbec možné, že by měl T-Mobile jako obří společnost, vše pouze na jednom datovém uložišti v Hradci Králové a souběžně neběžel systém v jiné lokalitě na území ČR?

3) Zajímalo by mě, jak toto mají zařízené třeba banky typu KB, ČS, ale i menší Fio banka či Hello bank. Zda jedou současně na více databází či zda se toto může stát jako u T-Mobilu. Ztráta dat u bank v případě totálního pádu a nemožnosti obnovy, to pak musí být úplná katastrofa. To si nedovedu vůbec představit.
IMHO to udělat 100% spolehlivé po dobu desítek let nikdy nejde. Vždycky může něco selhat a výsledek bude 99,999něco%. Pokud vím, TM ty diskové pole teď odešly dvě, druhé bylo nejspíš to záložní... Data ze záloh obnovit jdou, má to dvě ALE:
- není to aktuální stav ve chvíli výpadku, ale třeba den až týden stará data (zase pořád lepší, než vůbec nic. Pokud je dostupný i log transakcí od zálohy, dají se zopakovat)
- dost dlouho to trvá. Dnešní disky jsou sice rychlé, ale taky velké. Jestli dobře počítám, třeba 10TB na disku s rychlostí 3gbit/s se dá zkopírovat nejdřív za cca 8h - a nesmí se u toho nic znovu pokazit, jinak se začíná odznova.

Jinde se to stává taky - např. zrovna v neděli večer několik hodin nejel prodejní systém regiojetu, nešlo nic koupit, zrušit, všechny rozhraní hlásily "nedostatek místa na disku" :-) Občas se to stává i bankám (https://www.penize.cz/internetbanking/4 ... l-pise-fio, i když tady je to spíš kvůli přetížení) nebo velkým cloudovým poskytovatelům (https://www.readitquik.com/articles/clo ... ked-havoc/)

Nikdo kromě prodejců předražených polí (a možná ani to ne) je ale nenutí mít většinu dat na jednom diskovém poli. Kdyby měli polí místo jednoho padesát, byla by obnova možná v řádech minut či hodin a hlavně neodešlo by vše naráz, ale týkalo by se to třeba jen stotisíců zákazníků. A hlavně méně závažné problémy by se vyskytovaly relativně běžně, tedy obnova by byla rutinní záležitost do velké míry automatizovaná a provedená v řádech minut. Za zlomek peněz by mohli mít ne jednu zálohu v reálném čase, na kterou lze překlopit, ale třeba i čtyři.

Vemte si, že většina dat je jen ke čtení a vůbec se nemění. Např. pokud proběhne hovor, nikdy se už zpětně nezmění. Stejně tak pokud někdo zadá příkaz do banky, který se provede, je to minulost, co se nemění, a může se naklonovat třeba pětkrát a číst ze všech pěti klonů. Dat, která se opravdu mění, jako např. stav kreditu nebo aktuální zůstatek na účtu, je relativně málo. V případě ztráty dat je ale možné je dopočítat z ostatních dat nejen na úrovni logů z diskového pole ale i na logické úrovni aplikace. Z tohoto pohledu to mají banky velmi jednoduché, stejně logují vše. A spoléhat se na superdatabázi běžící nad suprvelkých diskovým polem je podle mne jen hloupá zhýralost a plýtvání penězi.
alfi
Příspěvky: 718
Registrován: čtv 03. led 2013 15:31:10

Re: Výpadek TMobile - týká se i Odoriku

Příspěvek od alfi »

xsouku04 píše: Nikdo kromě prodejců předražených polí (a možná ani to ne) je ale nenutí mít většinu dat na jednom diskovém poli. Kdyby měli polí místo jednoho padesát, byla by obnova možná v řádech minut či hodin a hlavně neodešlo by vše naráz,ale týkalo by se to třeba jen stotisíců zákazníků. A hlavně méně závažné problémy by se vyskytovali relativně běžně, tedy obnova by byla rutijní záležitost do velké míry automatizovaná a provedená v řádech minut. Za zlomek peněz by mohli mít ne jednu zálohu v reálném čase na kterou lze překlopit, ale třeba i čtyři.

Vemte si že většina dat jsou jen ke čtení a vůbec se nemění. Např. pokud proběhne hovor, nikdy se už zpětně nezmění. Stejně tak pokud někdo zadá příkaz do banky který se provede, je to minulost co se nemění a může se naklonovat třeba pětkrát a číst ze všech pěti klonů. Dat kterých se opravdu mění jako např. stav kreditu nebo aktuální zůstatek na účtu je relativně málo. V případě ztráty dat je ale možné je dopočítat z ostatních dat nejen na úrovni logů z diskového pole ale i na logické úrovni aplikace. Z tohoto pohledu to mají banky velmi jednoduché, stejně logují vše. A spoléhat se na superdatabázi běžící nad suprvelkých diskovým polem je podle mne jen hloupá zhýralost a plýtvání penězy.
Tohle netuším, jak a proč se v praxi dělá. Taky bych čekal, že data na polích budou rozdělená podle důležitosti tak, aby ty nejvíc kritická šly nejrychleji obnovit z malého disku. Ale asi to nejde všude. Tady to vypadá, že umřely disky s CRM (=výpadek na infolince, selfcaru i prodejnách) - aneb nastavení všech zákazníků a služeb, vč. historie, která neustále bobtná a kde je důležitá jen malá část dat, ale každý den jiná. Co z toho bylo propsané do ústředen a dalších externích aplikací už fungovalo, nešly jen nové změny.
Kristovec
Příspěvky: 1526
Registrován: ned 07. srp 2011 18:03:28

Re: Výpadek TMobile - týká se i Odoriku

Příspěvek od Kristovec »

Už to pracuje,škoda :(
Ten neomezený internet nebyl marný
Uživatelský avatar
megacruiser
Administrátor
Příspěvky: 244
Registrován: stř 13. říj 2010 15:09:09
Bydliště: Brno
Kontaktovat uživatele:

Re: Výpadek TMobile - týká se i Odoriku

Příspěvek od megacruiser »

Výpadek T-Mobilu je již téměř kompletně vyřešený, nové objednávky změn na SIM se již zpracovávají, zatím pouze nedoběhly některé mobilní portace a může být posun termínu u objednaných, ale v důsledku výpadku zatím nezpracovaných portací.
Je nově nahlášena krátká odstávka 2.7. 23:00 - 3.7. 3:00, objednávky zadané v tomto rozmezí se provedou až po jejím ukončení. Mobilní služby i v době odstávky budou funkční, pouze se nebudou provádět ihned změny nastavení SIM.
alfi
Příspěvky: 718
Registrován: čtv 03. led 2013 15:31:10

Re: Výpadek TMobile - týká se i Odoriku

Příspěvek od alfi »

V diskuzi na lupě jsou zajímavé detaily k tématu https://www.lupa.cz/aktuality/t-mobile- ... e-ani-web/ (stručně - zřejmě to běží na jedné krabici s diskama..) :-)
Kristovec
Příspěvky: 1526
Registrován: ned 07. srp 2011 18:03:28

Re: Výpadek TMobile - týká se i Odoriku

Příspěvek od Kristovec »

Dívám se do appky na balíčky,a Neomezený internet na den 3/1 MBps stojí místo 99 nyní 69 Kč.
Omyl po té havárii,nebo T-Mobile zlevňuje?

Loni jak zlevnili,tak teď mají problém s Erimobilem,tohle je případ demotivující OPy od snižování cen.
lifdo69
Příspěvky: 153
Registrován: úte 28. kvě 2013 11:55:12
Bydliště: Jižní Morava

Re: Výpadek TMobile - týká se i Odoriku

Příspěvek od lifdo69 »

Zdravim, na mém účtu mi dnes zmizelo 80 Kč a mam kredit v minusu a v uživatelském rozhraní nejsem schopný dohledat co mi sežralo kredit. Balíček se mi aktivoval pravděpodobně, protože sms o aktivaci došla 2.7. Ma. Strach dobít kredit aby zase nemizel. Internet na sim funguje.
Uživatelský avatar
xsouku04
Administrátor
Příspěvky: 8146
Registrován: pát 15. říj 2010 11:11:44
Bydliště: Brno
Kontaktovat uživatele:

Re: Výpadek TMobile - týká se i Odoriku

Příspěvek od xsouku04 »

Dobrý den,
vypadá to tak, že datový balíček se aktivoval kvůli výpadku se zpožděním a mezi tím bylo platné nastavení z konce minulého měsíce tedy účtování po KB. Je také možné, že se data zaúčtovala opožděně, protože došlo k opoždění v předávání. Proto se tedy může opravdu jevit, že peníze zmizely z ničeho nic. Vrátil jsem cca polovinu z té částky jako nějakou kompenzaci.
Odpovědět