Odorik experimentuje s přechodem na freebsd

[xsouku04]

FreeBSD je unixový systém nezávisle vyvíjený na Linuxu.

Již cca 5 let Odorik používá souborový systém ZFS, který byl původně vyvinutý pro Solaris a FreeBSD.  Je možné jej použít i v Linuxu i když kvůli licencím ne úplně nativně. Cca rok experimentuje Odorik s nasazením FreeBSD. Oproti Linuxu z našeho pohledu vidíme tyto výhody:

• Linux se příliš překotně vyvíjí, často jsou věci zbytečně překomplikované, nedrží se tolik unixové filozofie. Linux má příliš vývojářů, kteří mají prostor, časové a zjevně i finanční možnosti věci zbytečně komplikovat a opakovaně předělávat
• freeBSD je vše co sel liší  jednodušší a zbytečně se nemění. Např. firewall se v Linuxu co já pamatuji předělával 3 krát a stále není lepší než to co je ve freeBSD mají už čtvrt století.
• Souborový systém ZFS je pod FreeBSD nativní
• Souborový systém ZFS nám pod FreeBSD neničí SSD disky write aplifikací (projeví se to jen u databází kde je obrovské množství zápisů) - je zajímavé že nikdo další tento problém nehlásí, ale nám přechodem na freeBSD s totožnou konfigurací ZSF úplně vymizel.
• Klonování databáze pod FreeBSD se bezdůvodně nezpožďuje, jako pod Linuxem
• Tím že je freeBSD menší a jednodušší systém, je vhodnější pro menší týmy ve kterých musí umět všichni vše. Aby všichni uměli vše pod Linuxem je náročnější než umět vše používané pod FreeBSD.
• Věci co má Linux navíc nepotřebujeme a potřebovat nebudeme, že je FreeBSD vůbec nenabízí je výhoda, která zjednoduší dokumentaci a např. i velikost a spolehlivost kódu.
• Nenarazili jsme zatím na jedinou aplikaci, kterou by nebylo možné provozovat pod freeBSD. (populární dockery nepoužíváme)
• Konfigurace FreeBSD a jailů je výrazně jednodušší a přehlednější, proto také lépe udržovatelná.

V současné době portujeme na FreeBSD především virtuální servery u kterých se vyskytnou nějaké záhadné problémy, nebo ty části, které je nutné předělat kvůli zastaralosti. Portací na FreeBSD záhadný problém zatím vždy úplně zmizel. Linux ale jistě neopustíme úplně. Kdyby byl záhadný problém na FreeBSD, můžeme to otočit. 
 
Nejdůležitější je, že konečně můžeme používat ZFS i pro hlavní databázi s obrovským množstvím zapisovaných dat a nezničit si tak SSD disky za rok. ZFS je důležité pro zálohování a možnost spustit jen několik minut starou kopii databáze na jiném stroji, pokud by měl hlavní stroj hardwarový výpadek.


 

[Hacker]

Smím se ze zvědavosti zeptat na čem a jak virtualizujete? 
Jinak s vámi musím souhlasit - tož BSD má v menším prostředí fakt větší šanci uspět než ve velkých korporátech. Tam člověk potká hlavně DevOps, kteří neznají nic jiného než přeplácané Ubuntu, Kubernetes a nekonečný hon za verzemi. Možná už stárnu, ale přijde mi, že spousta věcí je dneska schválně dělaná složitěji, než by musela být. U BSD se ale bohužel často naráží na to, že lidi ho vidí maximálně jako něco na DNS/SMTP/NTP/FW a dál se do toho nikomu nechce, protože prostě chybí znalosti. Přitom jak píšete - ZFS, jaily, jednoduchost konfigurace - to jsou věci, které dovedou v praxi zachránit nervy a nemusím každou verzi hledat konfiguráky. No u nás se nadává vlastně i na Debian -není dost cool, ale přitom se drží hodně stabilně bokem. Paradoxně mi to přijde jako jeho největší výhoda.
 
 
 
 
 
 
 

[xsouku04]

Začínali jsme na Linuxu před  necelými dvaceti lety s vservery, měla tehdy stránky s lístky mariuhany ale fungovalo to celkem OK. V tu dobu nikdo virtuální servery nepoužíval, nebo se o tom zatím ani nepsalo. Ale obři se zjevně v tu dobu připravovali na boom.
Pak následovalo další období s virtualizací, kdy jsme používali openVZ. To fungovalo stabilně a mělo dobrou dokumentaci. Container v bodstatě v běžném provozu nebyl schopen shodit hlavní stroj. Ale openVZ jaksi nepřicházela s novější verzí, co by fungovala s novější verzí jádra a nebylo jisté jestli  novější verze vůbec někdy bude. Novější distribuce už přestávaly fungovat, protože přicházeli s vylepšeními, které nám byly sice k ničemu a vyžadovaly nové funkce jádra. 


Mezitím propuklo šílenství, jak hrozně  cool  je mít věci v cloudu. Cloud byla ale často spíše marketingová mlha, aby se nemuselo říkat co přesně je v pozadí,jak to funguje a jaká rizika to představuje. Rozdávali se karty a claudové služby byly relativně levné  v poměru k tehdy výrazně dražšímu a méně výkonnému hardwaru.

Linux zabudoval podporu kontainerů do jádra.  A když jsem to zkoumal možnosti náhrady openVZ, byla možnost používat lxc a lxd.  Oproti předchozím možnostem špatně dokumentované a hůře odladěné, což se časem částečně zlepšilo. Subjektivně to ale stále není na úrovni starého openVZ. Ale zdálo se, že všem už je to celkem jedno, protože většina lidí je chyceno někde v claudu.

No nyní se karty už nerozdávají a tak jsou claudové služby dražší než v minulosti. Často vyjdou několikanásobně dráž než provoz na vlastním hardware (protože ceny hardware a spotřeba elektřiny se snižuje), ale spousta vývojářů už přivykla výhodám claudu a tak měnit nebude. Claudy mohou rýžovat.   Jako mainstream se zdají být dockery někde v claudu.

Marketingem zahalený claud ale není vhodný na VoIP, protože u hovorů si nemůžeme dovolit možný jitter nebo vteřinové zpoždění odpovědi na cokoli, které web obvykle ani nepozná. Jistější je mít hardware pod kontrolou.

Na Linuxu tedy poslední dobou jedeme ZFS + LXC kontainery a spokojen moc nejsem. ZFS ničil disky a počítače s LXC oproti minulosti až moc padaly. Důvodů bude jistě více, ale obecně nemám pocit, že by se pro naše použití Linux nějak zlepšoval.

A nyní jsem objevil FreeBSD, kde  se pro mne některé záhadné  nevysvětlitelné a špatně laditelné potíže nekonají. A říkám si. Škoda že jsem na freeBSD nepřešel už dávno, mohl jsem si všechny ty až nesmyslné změny na Linuxu ušetřit a hned od začátku používat jaily.  Jaily je virtualizace, která byla podstatně dříve, než něco podobného v Linuxu. Jaily jsou tam už čtvrt století, jen se věci vylepšují, nesmyslně se nemění.

Jediné co na freebsd nejde jsou dockery, kubernetes a tyhle věci.  Tedy není to vhodné pro jejich uživatele. Jinak nevím o ničem co by nešlo. Tedy používat FreeBSD neznamená mít nějakou zastaralou službu, téměř všechny opensource projekty na freeBSD jedou bez problému v nejnovější verzi.

FreeBSD je nepřívětivé pro toho kdo potřebuje klikátka a wizardy.  Ve vnitřnostech freeBSD je to nesrovnatelně jednodušší a čistější než v Linuxu, takže se s tím prostě lépe pracuje. To že se to jen pomalu, konzervativněji, mění k lepšímu, je extra bonus.
 
 
 

[Hacker]

To s těma diskami bohužel neznám, nebo neumím poradit, vždycky jsem měl vše minimálně na několika mid-range polích a obyčejné SAN, tam to ani neřeším, odejde disk zavolám support, přijde disk, vyměním.

a vysokou dostupnost máte dělanou přes LXD?

Já bych tu klasickou virtualizaci type 1, která je realtime a pro telefonii ok nezatracoval, výhoda je že si tam nabouchá správce jaký chce hw pro danou virtuální mašinu a může si poladit výkon, přidávat prostředky, oddělit sítě přidáním virtuálního adaptéru, má to spoustu výhod. Na něco se hodí OS-level kontejner jako Jail na něco zase plnotučná virtualizace, ale chápu že pro menší sítě a homogenní prostředí je kontejner lepší, jen to není moc v HA
 
 
 

[xsouku04]

Dostupnost řešíme zálohami pře ZFS. Když odejde fyzický stroj, můžeme kontainer s maximálně 5 minut starou kopií spustit jinde na stejné ip adrese.

Tedy takový byl aspoň plán, než se ukázalo, že ZFS nelze pro hlavní databázi na Linuxu použít, ale lze zase klonovat.

Lxd ani např. Proxmox jsem nepochopil. Je možné že v mezičase něco vylepšili, ale měl jsem pocit, že hlavní potíže jako HA to neřeší a spousta možností je k ničemu.

Jistě lze VoIP dnes provozovat dobře i v claudu. Ale není claud jako claud. A dobrej a zároveň lokální claud může být fakt dost drahej. A člověk pořád platí za každý GB jak paměti tak disku.  Dnes je podstatný náklad za spotřebovanou elektřinu, pokud máte více jak 3 počítače, místo drahé není a můžete si dovolit vše předimenzovat.

Jako disky používáme nyní hlavně nějaké lepší nvme ssd v raid 1. Je to levné, rychlé, má to nízkou spotřebu  a nekazí se to.  1TB má udávanou životnost zápisů třeba 2000TB (dříve to bylo třeba jen 600TB), 2TB 2600 TB.  Snažím se hlídat, aby nebyla dosaženo povolené množství zápisů moc brzy, např. už za rok kvůli nějaké chybě nebo špatném nastavení v operačním systému. Ve skutečnosti žádný neodešel, ale vyměnil jsem jej preventivně, protože se zaznamenávalo nezdravě moc zápisů. Ve freeBSD se zdánlivě stejnou konfigurací ZFS  je zápisů srovnatelně jako když se použije souborový systéme ext4. Tedy zapsání 2000TB by se disk nedožije ani za 40 let.

Není jeden způsob jak udělat něco dobře a stejně tak není jeden způsob jak udělat něco špatně.
 
 
 
 

[Hacker]

Ahaa takže ručně,  to tam ale musíte neustále držet pohotovosti nebo jak to funguje večer? Máte dohled který vás upozorní na výpadek?

Na cloud se vykašlete, pokud máte nějaký normální server housing, tak to vyjde lépe.

Výhoda Proxmoxu je hlavně v tom, že má zabudovaný Ceph a v podstatě stačí mít 3 servery a máte perfektní vysoce dostupnou storage, není potřeba pole atd. Osobně bych si proxmox kvůli kontejnerům nepořizoval, na virtualizaci je to super, jednoduché, nemusím to všechno bouchat od nuly jak u holého KVM.
Víc než Proxmox se mi líbí xcp-ng, k tomu nějaký storage s vysokou dostupností a do virtualizace jednotlivé systémy, pěkně oddělit, na to zálohování do jiné lokality, třeba domů na NASku... ale nevím jestli tohle není overkill pro vás s raid 1. Každopádně HA s nějakou automatizací na systémech a člověk má pak klid, pokud nechce stres.

Jinak jsem zvědavej, jak se vám to osvědčí dlouhodobě -hlavně u těch databází.

[xsouku04]

Testuje se to samo https://www.odorik.cz/watchdog.html a když je nějaký problém posílá to zprávy na Telegram. To se osvědčilo moc dobře. Skupinu, do které to loguje možné problémy může odbírat více lidí a vidí historii. Odeslat zprávu do skupiny na Telegramu lze zavoláním jediného URL.

Krom toho někteří zákazníci, jako např. taxikáři co potřebují fungující volání i v noci, mají na mne telefon, takže mohou zavolat.

Málo který problém je ale třeba řešit přesunem na jiný server. Málo kdy server odejde naráz z minuty na minutu.
Tedy přesun je většinou možné naplánovat na večerní nebo noční hodiny.
Většina chyb jsou softwarové chyby, které si zaneseme sami a přesun jinam by nepomohl.
Dále to může být třeba nečekaný pád aplikace, který ale lze také řešit automatizovaně jejím restartem a podobně.
Nebo preventivním restartem v noci.

Některé problémy mohou výt např. u T-mobile nebo i poskytovatele konektivity. A nebo má třeba i O2 dvouhodinový výpadek.

Některé věci je možná zálohovat na aplikační úrovni. Např. když vypadne nějaký server  přestane odpovídat, automaticky lze hovory posílat přes jiný. Horší je když se zblázní a začne fungovat špatně, to se hůře odhaluje.


Někdy se také stane, že původní server sice funguje, ale funguje špatně, zpomaleně a podobně.   Aby něco automatizovaně zvládlo dobře rozhodnout
o přesunu na záložní server se mi moc nezdá. Nevím jestli bychom si tím nepřidali spíše více problémů.

Opravdu nečekané problémy v náhodnou dobu se stanou několikrát do roka když máme smůlu. Pokud máme štěstí, nemusí se stát vůbec. To zase není taková hrůza.  Spíše je dobré mít vše jednoduché a jasné, aby se zabránilo zmatkům v době, kdy se něco musí  nouzově řešit.  Většina dobrého hardware nikdy neselže. Vlastně ani většina hardware určeného pro desktop také nikdy neselže a nekousne se bezdůvodně ani jednou za celé své fungování. Pokud to jednou za rok udělá, může jít dříve do důchodu. Nyní jak AMD začal výkonem Intelu ujíždět to vypadá, že se to trochu zhoršilo.
 
 
Výhoda freeBSD  je, že celé je to jednoduché a má to člověk krásně pod palcem, bez zbytečné abstrakce a složitostí.

Dopsat si k tomu nějaký automatizovaný skript je maličkost.


 

image.png (9.03 KiB) Zobrazeno 6102 x

 
 
 

[jlo]

Pánové, doufám, že se příliš neodchýlím od tématu – pokud ano, tak se omlouvám:

Máte někdo zkušenosti s FreeBSD na desktopech a/nebo laptopech? A to, pokud možno, i v „běžném kancelářském“ nasazení, nejen jako stanice pro vývojáře?
Proč se ptám. V naší firmě (o něco větší garážovka ) se s neduhy Linuxu, které se výše zmiňují (s popisem naprosto souhlasím), zatím vyrovnáváme použitím dostatečně konzervativní non-systemd distribuce (Devuan) a dostatečně ortodoxního / minimalistického grafického rozhraní (čistý Openbox, Fluxbox, Sawfish – každý podle svého vkusu; to „nejtěžší“, co kde běží, je LXDE, jeden kolega dokonce stále „jede“ na twm ). Pro pracovní stanice to problém řeší. Ovšem jiný kolega již nějaký čas opakuje „A co budeme dělat, až někdo prostě odstaví X.org“ (to se stát bohužel opravdu může) „anebo jádro už diverguje tak, že bez systemd Linux už prostě nepoběží?“ (tomu osobně zatím nevěřím). Inu, a kdo je připraven, není překvapen, jak to tak bývá...

[Hacker]

Tam bude podpora slabá co se týče hw. Odpovím jinak, já funguji na linuxu, a to ve velkých firmách, kde je vše Microsoft včetně cloudových věcí. A ano byl a je to pořád boj, například ty jejich dokumenty, nemožnost se normálně dostat na cloudové úložiště, teams, nebo sem tam problém s tiskárnami, ale nedokázal bych si představit mít na notebooku FreeBSD. Používal jsem Ubuntu, protože do nějaké doby bylo fain a byl s ním minimální problém, ovladače v pohodě, každý dva roky nový notebook a Ubuntu fungovalo. Pak mě Ubuntu přestalo bavit (zastaralé balíčky) a přešel jsem na Arch Linux a na Manjaro, protože chci mít krásný desktop který mi závidí, kde kdo. No a co dělám za náplň práce, IT. Jsem spokojen a do freeBsd nebo čehokoliv co znamená věnovat se hodiny zprovozněním notebooku, do toho nejdu, potřebuji být produktivní a věnovat se práci, ne ladění a opravě nějakého systému - což je důvod proč jsem na Linuxu. 
Na kancelářskou práci, pro ne technicky zdatné, bych zvolil Ubuntu LTS.
 
 
 

[xsouku04]

Já jsem freeBSD na desktopu ještě nezkoušel. Fungovat by to mohlo jedině na nějakém starším hardware. Neláká mne to, pokud to zkusím tak pro zajímavost.
Výhody freeBSD vidím pro některé použití na serverech, kde je užitečné rozumět všemu do hloubky a mít možnosti si to přizpůsobit. Což je pod Linuxem čím dál těžší a těžší.
Na Desktopu se Linux pořád zlepšuje, motivaci pro  stěhování na freeBSD tam nevidím. Navenek by to stejně nebylo moc poznat.

Když se jednou za rok kousne server, nebo i nějaká služba co běží na pozadí, je to problém. Když se jednou za rok kousne Desktop, není co řešit.  Navíc v obou případech to může být kvůli hardwaru, takže změnou systému si nejspíše nepomůžu.