souborový systém

Diskuze o linuxu, rady, návody, zajímavosti.
luky
Příspěvky: 635
Registrován: sob 24. bře 2012 20:56:12

Re: souborový systém

Příspěvek od luky »

tak to vypadá, že u nového OpenSuse 13.x (možná už 13.1) bude btrfs výchozí
http://news.opensuse.org/2013/09/19/ope ... ta-is-out/

je zajímavé, co tím tým sleduje, protože v diskuzích se stále vyskytují varování před tímto fs (např. http://news.opensuse.org/2013/09/19/ope ... ment-79586). Jestli je to jen snaha upozornit na sebe (openSuse)....?

Zatím jsem neměl odvahu tento fs použít. Už 12.3 nabízí u instalace použití btrfs u oddílu pro /home
4smart.cz
Administrátor
Příspěvky: 1373
Registrován: úte 12. říj 2010 9:16:11
Kontaktovat uživatele:

Re: souborový systém

Příspěvek od 4smart.cz »

U souborových systémů je vždy lepší být konzervativní, protože se i později může objevit nějaká chybka, která může způsobit až ztrátu dat.
Myslím, že ext3, ext4 jsou pořád větší zárukou jistoty. Ještě do nedávna nebyly nástroje spojené s opravou/údržbou brtfs filesystému úplně kompletní.
Osobně dávám tomuto filesystému ještě čas.
luky
Příspěvky: 635
Registrován: sob 24. bře 2012 20:56:12

Re: souborový systém

Příspěvek od luky »

admin píše:U souborových systémů je vždy lepší být konzervativní, protože se i později může objevit nějaká chybka, která může způsobit až ztrátu dat.
Myslím, že ext3, ext4 jsou pořád větší zárukou jistoty. Ještě do nedávna nebyly nástroje spojené s opravou/údržbou brtfs filesystému úplně kompletní.
Osobně dávám tomuto filesystému ještě čas.
ano, ano.... nebyl jsem konzervativní, a přišel jsem o data na oddílu btrfs. Naštěstí ten oddíl sloužil jako odkládací a dočasný. Ale zklamalo mě to (jsem jen laik). Stačilo použít na odpojeném oddílu gparted na změnu velikosti oddílu btrfs a zkáza byla hotova. Oddíl se začal tvářit jako plný, ukázal svoje teoretické maximum pro fs a to 16EiB. Nástroj na opravu typu btrfsck nepomohl, naopak to dorazil, ani rady na diskuzích nepomohly. Naštěstí bylo možné zpočátku data zkopírovat na jiný oddíl Nakonec byla zničena metadata a vznikla zajímavá situace, kdy máte disk plný souborů, s kterými disponujete (kopírujete na jiný oddíl, mažete, měníte oprávnění, ale to je asi tak všechno).
A to mám aktuální stable kernel 3.11 včetně btrfs tools.
Opravdu, btrfs žádnou extra výhodu asi ani nemá. Snad jen kompresi a tím rychlejší čtení dat z pomalého disku (zase třeba silný cpu a paměť), pak vám zase nesedí zobrazení volného místa na disku. Snapshoty možná, i když nevím jaké by bylo praktické využití.... (pravda, zkoušel jsem jen rsnapshot s klasickými hardlinky na ext4), tady bude lepší klasické zálohování

Chtěl se vás zeptat na pro mě důležitou věc. Mám na ext4 oddílech tisíce .jpg fotek a .mov videí. Disky kontroluju pomocí fsck.ext4 -vf. Čas od času i parametr -vcf, hlavně na externím záložním (USB3) disku. Navíc jsem na desktopu nastavil max. počet připojení, po kterých se fsck vynutí a spustí (tune2fs). Existuje nějaký nástroj, který na oddílu přečte jpg soubory a zkontroluje jejich integritu? (nejlepší by bylo si všechny fotografie prohlídnout, ale to je časově nemožné). Mají jpg soubory nějaký kontrolní součet nebo něco podobné? Jak jsem napsal výše, u btrfs mi zůstaly soubory, které byly s porušennými metadaty
4smart.cz
Administrátor
Příspěvky: 1373
Registrován: úte 12. říj 2010 9:16:11
Kontaktovat uživatele:

Re: souborový systém

Příspěvek od 4smart.cz »

Chtěl se vás zeptat na pro mě důležitou věc. Mám na ext4 oddílech tisíce .jpg fotek a .mov videí. Disky kontroluju pomocí fsck.ext4 -vf. Čas od času i parametr -vcf, hlavně na externím záložním (USB3) disku. Navíc jsem na desktopu nastavil max. počet připojení, po kterých se fsck vynutí a spustí (tune2fs). Existuje nějaký nástroj, který na oddílu přečte jpg soubory a zkontroluje jejich integritu? (nejlepší by bylo si všechny fotografie prohlídnout, ale to je časově nemožné). Mají jpg soubory nějaký kontrolní součet nebo něco podobné? Jak jsem napsal výše, u btrfs mi zůstaly soubory, které byly s porušennými metadaty
Příčina poškození filesystému může být různá, stejně jako následky nebo projevy. Může jít o chybu HW (disk, firmware disku, řadič), nebo o (novou/přetrvávající) chybu SW v podobě bugu v implementaci filesystému v jádře OS. Osobně jsem se setkal s SSD disky, kde občas bezdůvodně zcela selhal filesystém bez předchozích náznaků problémů a nešlo z něj pak již dostat nic. V horším případě selhal celý disk a nebylo možné se ani o cokoliv pokusit. Potkávám se ale také s chybami softwarovými, kdy chyby plynou buď z některých parametrů připojení (mount -o) nebo z hlubších důvodů.

Projevem chyby může být v nejhorším případě kernel panic!, v lepším případě nemožnost nabootovat, v tom ještě lepším případě výpisy ze zásobníku kernel ring buffer, když k problémům zrovna dojde.
Obvykle pak stačí problémový oddíl offline zkontrolovat pomocí fsck a opravit, jindy je třeba počkat na aktualizace.

Ext4 podporuje kontrolní součty žurnálu a v nových kernelech se začínají rýsovat i kontrolní součty metadat. Implementace ale údajně ještě není úplně odladěna a hlavně předpokládá 64-bitový souborový systém na disku. Takže může nastat problém při migraci z defaultního 32-bitového fs na 64-bitový. Výpočet kontrolního součtu metadat je navíc náročný na CPU, lze ale použít jaderný modul, který využije instrukční sadu procesoru intel a výpočty urychlí.

https://ext4.wiki.kernel.org/index.php/ ... _Checksums

Pokud kladete důraz na životnost dat na svém úložišti, doporučuji nasazení konzervativní distribuce (Debian) v kombinaci s ext3 nebo rychlejším ext4. Zvážit zavedení diskového pole (nejlépe softwarového - nástroj mdadm). Data pravidelně rsyncovat na jiný disk, nejlépe na jiný stroj, čímž se vyhnete selhání zdroje a případnému zničení elektroniky Vašeho stroje. A ještě lépe je, když se druhý takový stroj nachází ve zcela jiném geografickém místě.

Vzhledem k výše popsaným projevům chyb v souborových systémech nemusí být druhotný výpočet kontrolního součtu nad soubory přínosný/možný. Na Linuxu k tomu ale lze použít nástroje md5sum, sha[xxx]sum, apod.

J.M.
luky
Příspěvky: 635
Registrován: sob 24. bře 2012 20:56:12

Re: souborový systém

Příspěvek od luky »

díky za odpovědi.
Asi bude nejlepší čerstvě zarchivovaná data zkontrolovat pomoci md5sum, výsledek uložit a tento výsledek by pak měl být při periodických kontrolách záložního disku v průběhu let stále stejný. Ještě to nějak prakticky domyslet.
Data zálohuju na druhém disku a na 2 externích discích, občas je zkontroluju pomocí fsck (pohyb s diskem, otřesy, stárnutí materiálu apod).
Po mých zkušenostech mám největší obavy z "nových" distribucí, kde se objeví nějaký bug, který vám zničí oddíl. Už nevím, které to bylo ISO dvd Ubuntu (rok cca 2009/10), které jsem použil jako live na změnu velikostí oddílů. Že tam byla chyba vedoucí k zničení ext4 jsem se dozvěděl z fór.
Proto přemýšlím, když se co 14 dní objeví v repozitářích opensuse (stable kernel, nyní v repo 3.11.3) nové "opravené" jádro, jestli má to má cenu stahovat. Jestli to není právě riziko, že s opravou se do jádra nedostane nová chyba.
luky
Příspěvky: 635
Registrován: sob 24. bře 2012 20:56:12

Re: souborový systém

Příspěvek od luky »

dobrý den,
čas běží a vypadá to, že btrfs bude časem výchozím FS pro linux. Je až s podivem, jak dlouho se tento FS ladí, zdá se to být věčnost.
Chtěl bych se teď po cca 4 letech zeptat, používáte už btrfs nebo jste zůstali u ext4? Na desktopu jsem používal před léty btrfs, ale dost často mi počítač zkolaboval a nedokázal jsem chyby opravit jinak než reinstalací. S ext4 mi počítač přežil i řádění dětí (opakované resety, vypnutí napájení). Ext4 mi přijde naprosto bezúdržbový.

Na forech se uvádí, že je btrfs až na RAID 5/6 bezpečný FS. Nicméně mě děsí slovní dodatky, že zrovna při používání btrfs je nutné důsledně zálohovat data (tak to vždycky). https://wiki.debian.org/Btrfs

Používá se na serverech btrfs? Ani v benchmarkerech nejsou výsledky přesvědčivé. Chápu, že je třeba třeba přejít na něco modernější, co má více funkcionalit, ale nechápu, proč se za 10 let nepodařilo tento FS vyladit (spíše dotaz na co/autory)
4smart.cz
Administrátor
Příspěvky: 1373
Registrován: úte 12. říj 2010 9:16:11
Kontaktovat uživatele:

Re: souborový systém

Příspěvek od 4smart.cz »

Dobrý den,

volba výchozího souborového systému je spíš záležitostí konkrétní distribuce, než Linuxu obecně.
Některé distribuce se snaží brtfs prosazovat, jiné naopak. Faktem je, že brtfs se stále ještě rozbíjí.
Bohužel, když se rozbije souborový systém, může to mít fatální následky a tím spíš, běží-li na serveru.
4smart.cz používá převážně ext4, na starších úložištích potom ext3. Brtfs zatím přenecháváme jiným.
Nicméně brtfs není jediný zajímavý souborový systém. Za zmínku stojí například ZFS, který provádí kontrolu své integrity a případné opravy za běhu.
ZFS však není pro Linux nativní, pro Linux je k dispozici jeho obdoba OpenZFS. Kromě výhod i zde jsou určité nevýhody, avšak osobně si myslím,
že právě ZFS má o něco větší potenciál oproti současnému stavu filesystému brtfs.
Já osobně nepoužívám brtfs ani na desktopu, protože tomuto FS zkrátka nevěřím. To nejhorší, čeho se admin bojí, je ztráta dat.
Souborové systémy ext[X] poskytují velmi slušné záruky.

J.M.
mobilemanic
Příspěvky: 486
Registrován: čtv 10. říj 2013 10:20:15

Re: souborový systém

Příspěvek od mobilemanic »

A zkoušel někdo na datová úložiště dát XFS? Ten mi také přijde jako naprosto nezničitelný...
luky
Příspěvky: 635
Registrován: sob 24. bře 2012 20:56:12

Re: souborový systém

Příspěvek od luky »

je zajímavé, že openSuse si zvolilo btrfs jako výchozí FS pro / , ale pro /home nastavilo jako výchozí XFS. Protože si netroufnou pro data uživatele dát stále rizikový btrfs
luky
Příspěvky: 635
Registrován: sob 24. bře 2012 20:56:12

Re: souborový systém

Příspěvek od luky »

ještě bych dodal, že může existovat sebekrásnější systém, ale co je to platné, když nemá nástroje na opravu. Btrfs mělo dříve btrfsck, pak btrfs check --repair, a další .....u všech variant bylo vždy varování, že se tyto nástroje nedoporučuje používat, protože můžou nadělat větší škodu. Jediné doporučení je kontaktovat vývojáře na kernel.org. Jako hlavní nástroj "opravy" se doporučuje obnova zálohy celého disku
Zamčeno