Лучше всего базовый тип файловой системы и конфигурация для HDFS
Я хотел бы переформатировать локальный раздел диска и превратить его в раздел для HDFS. Какая файловая система была бы самой производительной для выполнения HDFS сверху его? Какая-либо оптимизация я должен заботиться о для этой файловой системы?
Это - Ubuntu 14.04
2 ответа
Вот лучшие практики:
Резюме:
- ext3 больше всего тестируется и надежен
- , ext4/xfs менее тестируются, но предлагают выигрыши в производительности
Я не рекомендовал бы ext3. Это имеет проблемы framentation.
Данный HDFS обычно работает с огромными файлами сверху файловой системы ОС, ext4 будет большим более оптимальным вариантом. ext4 организует пространство в непрерывные степени (блоки смежных блоков). Таким образом, там является намного менее служебным из отображения крошечных блоков в огромные блоки. ext4 также менее подозрителен для фрагментации.
, В то время как XFS кажется, имеют подобные функции как ext4, мои тесты (хотя не для hdfs рабочих нагрузок) показывают, что это - infrerior к ext4 в некоторых сценариях (как удаление большого количества файлов и т.д.).
, В то время как рекомендуется иметь зарезервированное пространство для ext3, чтобы иметь меньше framentation. По умолчанию это - 5%, см.
sudo tune2fs -l /dev/sdb1 | grep 'Reserved block count'
, Таким образом, Вы теряете 5% пространства HDFS тут же. Для ext4 можно поместить зарезервированное пространство в 1% или даже 0% (переключатель если прочь).
Вы не можете ошибаться с ext4 при HDFS.
Некоторые другие рекомендуемые опции для ext4:
- -noatime (монтируют опцию)
- -tune2fs (для выключения зарезервированных блоков)
Кто-то также рекомендует выключить задержанное выделение в ext4, но я не сделал бы этого без некоторого тестирования.