Типы файловых систем для Linux

Операционная система Windows может быть установлена только на файловую систему NTFS, поэтому обычно у пользователей не возникает вопросов какую ФС лучше использовать. Но Linux очень сильно отличается, здесь в ядро системы встроены и могут использоваться несколько файловых систем, каждая из которых оптимизирована для решения определенных задач и лучше подходит именно для них.

Новые пользователи не всегда понимают что такое раздел жесткого диска и файловая система. В нашей сегодняшней статье мы попытаемся разобраться во всех этих понятиях, рассмотрим что такое файловая система, а также рассмотрим самые распространенные типы файловых систем Linux. Но начнем с самых основ, разделов диска.

Жесткий диск и разделы

Обычно в компьютере используется один жесткий диск, но для удобства все доступное пространство разделяется на разделы, в Windows они известны как диски, в Linux же их принято называть разделами. Чтобы операционная система знала сколько разделов есть на диске и их физические границы используется таблица разделов. Она может быть двух типов - GPT или MBR. В этой статье мы не будем рассматривать ее подробно. Скажу только, что там находится метка раздела, его порядковый номер и адрес начала и конца на жестком диске.

Что такое файловая система?

Дальше больше. Чтобы на каждом разделе можно было работать с файлами и каталогами, необходима файловая система. Мы могли бы писать просто содержимое файлов на диск, но нужно еще где-то хранить данные о папках, имена файлов, их размер, адрес на жестком диске, атрибуты доступа. Всем этим занимается файловая система.

От файловой системы зависит очень многое, скорость работы с файлами, скорость записи и даже размер файлов. Также от стабильности файловой системы будет зависеть сохранность ваших файлов.

Типы файловых систем Linux

Файловые системы в Linux используются не только для работы с файлами на диске, но и для хранения данных в оперативной памяти или доступа к конфигурации ядра во время работы системы. Дальше мы рассмотрим типы файловых систем Linux, включая специальные файловые системы.

Основные файловые системы

Каждый дистрибутив Linux позволяет использовать одну из этих файловых систем, каждая из них имеет свои преимущества и недостатки:

• Ext2;
• Ext3;
• Ext4;
• JFS;
• ReiserFS;
• XFS;
• Btrfs;
• ZFS;

Все они включены в ядро и могут использоваться в качестве корневой файловой системы. Давайте рассмотрим каждую из них более подробно.

Ext2, Ext3, Ext4 или Extended Filesystem - это стандартная файловая система для Linux. Она была разработана еще для Minix. Она самая стабильная из всех существующих, кодовая база изменяется очень редко и эта файловая система содержит больше всего функций. Версия ext2 была разработана уже именно для Linux и получила много улучшений.

В 2001 году вышла ext3, которая добавила еще больше стабильности благодаря использованию журналирования. В 2006 была выпущена версия ext4, которая используется во всех дистрибутивах Linux до сегодняшнего дня. В ней было внесено много улучшений, в том числе увеличен максимальный размер раздела до одного экзабайта.

JFS или Journaled File System была разработана в IBM для AIX UNIX и использовалась в качестве альтернативы для файловых систем ext. Сейчас она используется там, где необходима высокая стабильность и минимальное потребление ресурсов. При разработке файловой системы ставилась цель создать максимально эффективную файловую систему для многопроцессорных компьютеров. Также как и ext, это журналируемая файловая система, но в журнале хранятся только метаданные, что может привести к использованию старых версий файлов после сбоев.

ReiserFS - была разработана намного позже, в качестве альтернативы ext3 с улучшенной производительностью и расширенными возможностями. Она была разработана под руководством Ганса Райзера и поддерживает только Linux. Из особенностей можно отметить динамический размер блока, что позволяет упаковывать несколько небольших файлов в один блок, что предотвращает фрагментацию и улучшает работу с небольшими файлами.

Еще одно преимущество - в возможности изменять размеры разделов на лету. Но минус в некоторой нестабильности и риске потери данных при отключении энергии. Раньше ReiserFS применялась по умолчанию в SUSE Linux, но сейчас разработчики перешли на Btrfs.

XFS - это высокопроизводительная файловая система, разработанная в Silicon Graphics для собственной операционной системы еще в 2001 году. Она изначально была рассчитана на файлы большого размера, и поддерживала диски до 2 Терабайт. Из преимуществ файловой системы можно отметить высокую скорость работы с большими файлами, отложенное выделение места, увеличение разделов на лету и незначительный размер служебной информации.

XFS - журналируемая файловая система, однако в отличие от ext, в журнал записываются только изменения метаданных. Она используется по умолчанию в дистрибутивах на основе Red Hat. Из недостатков - это невозможность уменьшения размера, сложность восстановления данных и риск потери файлов при записи, если будет неожиданное отключение питания, поскольку большинство данных находится в памяти.

Btrfs или B-Tree File System - это совершенно новая файловая система, которая сосредоточена на отказоустойчивости, легкости администрирования и восстановления данных. Файловая система объединяет в себе очень много новых интересных возможностей, таких как размещение на нескольких разделах, поддержка подтомов, изменение размера не лету, создание мгновенных снимков, а также высокая производительность. Но многими пользователями файловая система Btrfs считается нестабильной. Тем не менее, она уже используется как файловая система по умолчанию в OpenSUSE и SUSE Linux.

Другие файловые системы, такие как NTFS, FAT, HFS могут использоваться в Linux, но корневая файловая система linux на них не устанавливается, поскольку они для этого не предназначены.

Специальные файловые системы

Ядро Linux использует специальные файловые системы, чтобы предоставить доступ пользователю и программам к своим настройкам и информации. Наиболее часто вы будете сталкиваться с такими вариантами:

• tmpfs;
• procfs;
• sysfs;

Файловая система tmpfs позволяет размещать любые пользовательские файлы в оперативной памяти компьютера. Достаточно создать блочное устройство нужного размера, затем подключить его к папке, и вы можете писать файлы в оперативную память.

procfs - по умолчанию смонтирована в папку proc и содержит всю информацию о запущенных в системе процессах, а также самом ядре.

sysfs - с помощью этой файловой системы вы можете задавать различные настройки ядра во время выполнения.

Виртуальные файловые системы

Не все файловые системы нужны в ядре. Существуют некоторые решения, которые можно реализовать и в пространстве пользователя. Разработчики ядра создали модуль FUSE ( filesystem in userspace), который позволяет создавать файловые системы в пространстве пользователя. К виртуальным файловым системам можно отнести ФС для шифрования и сетевые файловые системы.

EncFS - файловая система, которая шифрует все файлы и сохраняет их в зашифрованном виде в нужную директорию. Получить доступ к расшифрованным данным можно только примонтировав файловую систему.

Aufs (AnotherUnionFS) - позволяет объединять несколько файловых систем (папок) в одну общую.

NFS (Network Filesystem) - позволяет примонтировать файловую систему удаленного компьютера по сети.

Таких файловых систем очень много, и мы не будем перечислять все их в данной статье. Есть даже очень экзотические варианты, обратите внимание на проект PIfs.

Выводы

В этой статье мы рассмотрели типы файловых систем Linux. Как видите, здесь все намного запутаннее чем в Windows. Но на самом деле все просто. Если вам нужна максимально стабильная файловая система linux - то лучшим решением будет ext4, хотите новых технологий - btrfs, для маленьких файлов - raiser4, для больших - XFS. А какие файловые системы linux предпочитаете вы? Напишите в комментариях!

Источник

Как восстановить файловую систему в fsck

Из-за различных неполадок или неожиданного отключения компьютера файловая система может быть повреждена. При обычном выключении все файловые системы монтируются только для чтения, а все не сохраненные данные записываются на диск.

Но если питание выключается неожиданно, часть данных теряется, и могут быть потерянны важные данные, что приведет к повреждению самой файловой системы. В этой статье мы рассмотрим как восстановить файловую систему fsck, для нескольких популярных файловых систем, а также поговорим о том, как происходит восстановление ext4.

Немного теории

Как вы знаете файловая система содержит всю информацию обо всех хранимых на компьютере файлах. Это сами данные файлов и метаданные, которые управляют расположением и атрибутами файлов в файловой системе. Как я уже говорил, данные не сразу записываются на жесткий диск, а некоторое время находятся в оперативной памяти и при неожиданном выключении, за определенного стечения обстоятельств файловая система может быть повреждена.

Современные файловые системы делятся на два типа - журналируемые и нежурналируемые. Журналиуемые файловые системы записывают в лог все действия, которые собираются выполнить, а после выполнения стирают эти записи. Это позволяет очень быстро понять была ли файловая система повреждена. Но не сильно помогает при восстановлении. Чтобы восстановить файловую систему linux необходимо проверить каждый блок файловой системы и найти поврежденные сектора.

Для этих целей используется утилита fsck. По сути, это оболочка для других утилит, ориентированных на работу только с той или иной файловой системой, например, для fat одна утилита, а для ext4 совсем другая.

В большинстве систем для корневого раздела проверка fsck запускается автоматически, но это не касается других разделов, а также не сработает если вы отключили проверку.

Основы работы с fsck

В этой статье мы рассмотрим ручную работу с fsck. Возможно, вам понадобиться LiveCD носитель, чтобы запустить из него утилиту, если корневой раздел поврежден. Если же нет, то система сможет загрузиться в режим восстановления и вы будете использовать утилиту оттуда. Также вы можете запустить fsck в уже загруженной системе. Только для работы нужны права суперпользователя, поэтому выполняйте ее через sudo.

А теперь давайте рассмотрим сам синтаксис утилиты:

$ fsck [опции] [опции_файловой_системы] [раздел_диска]

Основные опции указывают способ поведения утилиты, оболочки fsck. Раздел диска - это файл устройства раздела в каталоге /dev, например, /dev/sda1 или /dev/sda2. Опции файловой системы специфичны для каждой отдельной утилиты проверки.

А теперь давайте рассмотрим самые полезные опции fsck:

• -l - не выполнять другой экземпляр fsck для этого жесткого диска, пока текущий не завершит работу. Для SSD параметр игнорируется;
• -t - задать типы файловых систем, которые нужно проверить. Необязательно указывать устройство, можно проверить несколько разделов одной командой, просто указав нужный тип файловой системы. Это может быть сама файловая система, например, ext4 или ее опции в формате opts=ro. Утилита просматривает все файловые системы, подключенные в fstab. Если задать еще и раздел то к нему будет применена проверка именно указанного типа, без автоопределения;
• -A - проверить все файловые системы из /etc/fstab. Вот тут применяются параметры проверки файловых систем, указанные в /etc/fstab, в том числе и приоритетность. В первую очередь проверяется корень. Обычно используется при старте системы;
• -C - показать прогресс проверки файловой системы;
• -M - не проверять, если файловая система смонтирована;
• -N - ничего не выполнять, показать, что проверка завершена успешно;
• -R - не проверять корневую файловую систему;
• -T - не показывать информацию об утилите;
• -V - максимально подробный вывод.

Это были глобальные опции утилиты. А теперь рассмотрим опции для работы с файловой системой, их меньше, но они будут более интересны:

• -a - во время проверки исправить все обнаруженные ошибки, без каких-либо вопросов. Опция устаревшая и ее использовать не рекомендуется;
• -n - выполнить только проверку файловой системы, ничего не исправлять;
• -r - спрашивать перед исправлением каждой ошибки, используется по умолчанию для файловых систем ext;
• -y - отвечает на все вопросы об исправлении ошибок утвердительно, можно сказать, что это эквивалент a.
• -c - найти и занести в черный список все битые блоки на жестком диске. Доступно только для ext3 и ext4;
• -f - принудительная проверка файловой системы, даже если по журналу она чистая;
• -b - задать адрес суперблока, если основной был поврежден;
• -p - еще один современный аналог опции -a, выполняет проверку и исправление автоматически. По сути, для этой цели можно использовать одну из трех опций: p, a, y.

Теперь мы все разобрали и вы готовы выполнять восстановление файловой системы linux. Перейдем к делу.

Как восстановить файловую систему в fsck

Допустим, вы уже загрузились в LiveCD систему или режим восстановления. Ну, одним словом, готовы к восстановлению ext4 или любой другой поврежденной ФС. Утилита уже установлена по умолчанию во всех дистрибутивах, так что устанавливать ничего не нужно.

Восстановление файловой системы

Если ваша файловая система находится на разделе с адресом /dev/sda1 выполните:

$ sudo fsck -y /dev/sda1

Опцию y указывать необязательно, но если этого не сделать утилита просто завалит вас вопросами, на которые нужно отвечать да.

Восстановление поврежденного суперблока

Обычно эта команда справляется со всеми повреждениями на ура. Но если вы сделали что-то серьезное и повредили суперблок, то тут fsck может не помочь. Суперблок - это начало файловой системы. Без него ничего работать не будет.

Но не спешите прощаться с вашими данными, все еще можно восстановить. С помощью такой команды смотрим куда были записаны резервные суперблоки:

$ sudo mkfs -t ext4 -n /dev/sda1

На самом деле эта команда создает новую файловую систему. Вместо ext4 подставьте ту файловую систему, в которую был отформатирован раздел, размер блока тоже должен совпадать иначе ничего не сработает. С опцией -n никаких изменений на диск не вноситься, а только выводится информация, в том числе о суперблоках.

Теперь у нас есть шесть резервных адресов суперблоков и мы можем попытаться восстановить файловую систему с помощью каждого из них, например:

$ sudo fsck -b 98304 /dev/sda1

После этого, скорее всего, вам удастся восстановить вашу файловую систему. Но рассмотрим еще пару примеров.

Проверка чистой файловой системы

Проверим файловую систему, даже если она чистая:

$ sudo fsck -fy /dev/sda1

Битые сектора

Или еще мы можем найти битые сектора и больше в них ничего не писать:

$ sudo fsck -c /dev/sda1

Установка файловой системы

Вы можете указать какую файловую систему нужно проверять на разделе, например:

$ sudo fsck -t ext4 /dev/sdb1

Проверка всех файловых систем

С помощью флага -A вы можете проверить все файловые системы, подключенные к компьютеру:

$ sudo fsck -A -y

Но такая команда сработает только в режиме восстановления, если корневой раздел и другие разделы уже примонтированы она выдаст ошибку. Но вы можете исключить корневой раздел из проверки добавив R:

$ sudo fsck -AR -y

Или исключить все примонтированные файловые системы:

$ sudo fsck -M -y

Также вы можете проверить не все файловые системы, а только ext4, для этого используйте такую комбинацию опций:

$ sudo fsck -A -t ext4 -y

Или можно также фильтровать по опциям монтирования в /etc/fstab, например, проверим файловые системы, которые монтируются только для чтения:

$ sudo fsck -A -t opts=ro

Проверка примонтированных файловых систем

Раньше я говорил что нельзя. Но если другого выхода нет, то можно, правда не рекомендуется. Для этого нужно сначала перемонтировать файловую систему в режим только для чтения. Например:

$ sudo mount -o remount,ro /dev/sdb1

А теперь проверка файловой системы fsck в принудительном режиме:

$ sudo fsck -fy /dev/sdb1

Просмотр информации

Если вы не хотите ничего исправлять, а только посмотреть информацию, используйте опцию -n:

$ sudo fsck -n /dev/sdb1

Выводы

Вот и все, теперь вы знаете как выполняется восстановление файловой системы ext4 или любой другой, поддерживаемой в linux fsck. Если у вас остались вопросы, спрашивайте в комментариях!

СРАВНЕНИЕ ФАЙЛОВЫХ СИСТЕМ EXT2 EXT3 EXT4 XFS REISERFS BTRFS VFAT JFS ДЛЯ ДОМАШНЕЙ ДИРЕКТОРИИ

На домашнем компьютере озадачился выбором файловой системы для своего домашнего раздела и специального раздела для backup, пока что по критерию - производительность, о надёжности пока не беспокоюсь ибо бекапы рулят

Желание подобрать ФС возникло после того как ощутил разницу между копирование больших файлов на Ext4 и ReiserFS, ReiserFS видимо не для этого должна использоваться

Для тестов использовал наиболее типичные для моего домашнего компьютера задачи (копирование больших и маленьких файлов, поиск текста в исходниках, удаление хлама, make clean)

cmd1="cp -r /media/media4/video/best $dest"
cmd2="rsync -rlhtgopu /media/media4/backup $dest"
cmd3="grep linux -sir $dest/backup/wine-src/"
cmd4="find $dest -type f -delete"

1. В качестве данных использовал DVDRipы фильмов и свой старенький backup (фотки и сорци кое каких собираемых руками программ)
2. данные перемещались с Sata на IDE
3. замеры проводились в помощью /usr/bin/time
4. между тестами 10 минутные паузы, чтобы устаканить uptime
5. раздел размещён на LVM
6. размер ФС подобран так чтобы данные заполняли его на 2/3

1,7G    /media/media4/backup/ - 40285 файлов (AD0  Foto  home.e2i.bz2  Transmission  video  Video  wine-src)
7,4G    /media/media4/video/best/ - 4 файла DVDRIP

	ext2	ext3	ext4	xfs	reiserfs	btrfs	vfat	jfs
копирование больших файлов:	116.03	122.69	116.45	137.47	138.67	130.25	114.25	130.98
бекап домашней директории:	115.33	124.25	99.61	220.50	119.25	98.44	159.65	172.21
поиск среди маленьких файлов:	66.71	63.69	68.76	47.02	66.45	77.18	60.64	107.21
повторный поиск среди маленьких файлов:	100.47	97.27	102.36	80.70	96.48	101.27	78.27	135.29
поиск и удаление файлов:	8.09	7.51	6.40	82.59	10.22	13.53	12.45	15.67
средняя нагрузка на систему:	1.85, 1.37,	1.95, 1.39,	1.99, 1.26	2.02, 1.64	2.00, 1.47	2.09, 1.37	2.02, 1.39	2.55, 1.99

Полным победителем оказывается vfat, открытая реализация ФС от МС - ужас, а ведь некоторых это может даже впечатлить

Но если отбросить архаику(ext2), экзотику(xfs,reiserfs) и извращения(vfat)(не скажу почему) и оставить наиболее распространённые и поддерживаемые разработчиками файловые системы то картинка проясняется, видим

сравнение фс	ext3	ext4	btrfs
копирование больших файлов:	122.69	116.45	130.25
бекап домашней директории:	124.25	99.61	98.44
поиск среди маленьких файлов:	63.69	68.76	77.18
повторный поиск среди маленьких файлов:	97.27	102.36	101.27
поиск и удаление файлов:	7.51	6.40	13.53
средняя нагрузка на систему:	1.95, 1.39,	1.99, 1.26	2.09, 1.37

что у Ext3 вроде бы больше плюсов перед всеми, но Ext4 смотрится вкуснее особенно если выкинуть btrfs

сравнение фс	ext3	ext4
копирование больших файлов:	122.69	116.45
бекап домашней директории:	124.25	99.61
поиск среди маленьких файлов:	63.69	68.76
повторный поиск среди маленьких файлов:	97.27	102.36
поиск и удаление файлов:	7.51	6.40
средняя нагрузка на систему:	1.95, 1.39,	1.99, 1.26

Похоже, что для обычного серферского компа, на котором крутится браузер с парой графических программ лучше подойдёт Ext4

Хотя если важнее поиск по файлам, работа с исходниками и системами контроля версий и переход на новые версии ядна не предвидится, то смысла использовать Ext4 нет

Для извращенцев:

	xfs	reiserfs	vfat	jfs
копирование больших файлов:	137.47	138.67	114.25	130.98
бекап домашней директории:	220.50	119.25	159.65	172.21
поиск среди маленьких файлов:	47.02	66.45	60.64	107.21
повторный поиск среди маленьких файлов:	80.70	96.48	78.27	135.29
поиск и удаление файлов:	82.59	10.22	12.45	15.67
средняя нагрузка на систему:	2.02, 1.64	2.00, 1.47	2.02, 1.39	2.55, 1.99

без комментариев

скрипт для тестирования файловых систем(как txt)

Использовать так (после правки путей!!!):

# создать пайп и запустить скрипт со списком имеющихся фаловых систем
mkfifo test_pipe; sudo ./test_fs.sh ext2 ext3 ext4 xfs reiserfs btrfs vfat jfs
# в другой консоли подключить к нему и наблюдать
tail -f test_pipe |grep -v "Command exited with non-zero status"

ps: Весьма смущает результаты повторного поиска, почему то он всегда долще чем первый на любых ФС, как будто ФС не умеют кешировать данные

pss: при создании и монтировании файловых системы применялись стандартные опции(смотреть тест), тоесть ни каких опций не применялось

psss: добавлены результаты тестирования jfs, результаты не радуют

серьёзные ссылки по теме производительности различных ФС:

http://lafox.net/docs/Command-Line-ru/ch09s01.html

Взято здесь