Блокирующая файловая система на уровне блоков

Question 1

Я ищу дедуплицирующее решение для файловой системы с копированием на запись для общих пользовательских данных, таких как /home и резервные копии. Он должен использовать онлайн-inline / синхронную дедупликацию на уровне блока, используя безопасное хеширование (для незначительной вероятности столкновений), например SHA256 или TTH . Дублировать блоки не нужно даже касаться диска.

Идея заключается в том, что я должен просто скопировать /home/ на внешний жесткий диск с такой же файловой системой, чтобы сделать резервную копию. Просто. Не вмешиваться с инкрементными резервными копиями, где повреждение любого из снимков почти всегда прерывает все последующие снимки, и нет необходимости использовать специальный инструмент для удаления или «checkout» моментального снимка. Все должно быть просто сделано из браузера файлов, не беспокоясь. Можете ли вы представить, насколько это было бы легко? Мне никогда не придется дважды думать о резервном копировании!

Я не возражаю против хита производительности, надежность - это главная проблема. Хотя с конкретными реализациями cp, mv и scp и плагином браузера файлов эти операции выполнялись бы очень быстро, особенно если есть много дублирования, поскольку они должны были бы только передавать отсутствующие блоки. Случайно использование обычных инструментов копирования, которые не интегрируются с FS, просто занимало бы больше времени, теряя некоторую пропускную способность при копировании удаленно и отбрасывая некоторый процессор, поскольку дублированные данные будут перечитываться, повторно передаваться и повторно хешироваться (хотя ничто не было бы переписан), но абсолютно ничего не испортил бы. (Некоторое программное обеспечение для обмена файлами также может быть полезным, интегрируясь с FS.)

Итак, что лучший способ сделать это?

Я рассмотрел некоторые варианты:

lessfs - Выглядит неподдерживаемым. Любое хорошее?
Opendedup / SDFS - Java? Могу ли я использовать это на Android ?! Что означает SDFS ?
Btrfs - Некоторые исправления, плавающие вокруг в архивах списков рассылки, но никакой реальной поддержки.
ZFS - Надеемся, что они в один прекрасный день перейдут под настоящую лицензию Free / Opensource GPL.

Кроме того, 2 года назад я попытался сделать попытку в Python с использованием Fuse на уровне файла, который будет использоваться поверх типичной твердотельной FS, такой как EXT4, но я обнаружил, что Fuse for Python недооценен и не смог реализовать все системные вызовы.

Question 2

Я ищу и исследую точно то же самое, я мог бы предложить https://attic-backup.org/quickstart.html#automating-backups на данный момент, кажется тихим простым и хорошим для резервного копирования linux.

Существует также бакула с этой функцией, но чердак, по-видимому, достаточно хорош для большинства случаев.

Question 3

Question 4

Я ищу и исследую точно то же самое, я мог бы предложить https://attic-backup.org/quickstart.html#automating-backups на данный момент, кажется тихим простым и хорошим для резервного копирования linux.

Существует также бакула с этой функцией, но чердак, по-видимому, достаточно хорош для большинства случаев.

Question 5

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

Question 6

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

Question 7

Question 8

Я ищу и исследую точно то же самое, я мог бы предложить https://attic-backup.org/quickstart.html#automating-backups на данный момент, кажется тихим простым и хорошим для резервного копирования linux.

Существует также бакула с этой функцией, но чердак, по-видимому, достаточно хорош для большинства случаев.

Question 9

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

Question 10

Я ищу и исследую точно то же самое, я мог бы предложить https://attic-backup.org/quickstart.html#automating-backups на данный момент, кажется тихим простым и хорошим для резервного копирования linux.

Существует также бакула с этой функцией, но чердак, по-видимому, достаточно хорош для большинства случаев.

Question 11

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

Question 12

Я ищу и исследую точно то же самое, я мог бы предложить https://attic-backup.org/quickstart.html#automating-backups на данный момент, кажется тихим простым и хорошим для резервного копирования linux.

Существует также бакула с этой функцией, но чердак, по-видимому, достаточно хорош для большинства случаев.

Question 13

Question 14

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

Question 15

Я ищу и исследую точно то же самое, я мог бы предложить https://attic-backup.org/quickstart.html#automating-backups на данный момент, кажется тихим простым и хорошим для резервного копирования linux.

Существует также бакула с этой функцией, но чердак, по-видимому, достаточно хорош для большинства случаев.

Question 16

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

Question 17

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

pablodav · Answer 1 · 25 July 2018 в 18:33

Я ищу и исследую точно то же самое, я мог бы предложить https://attic-backup.org/quickstart.html#automating-backups на данный момент, кажется тихим простым и хорошим для резервного копирования linux.

Существует также бакула с этой функцией, но чердак, по-видимому, достаточно хорош для большинства случаев.

pablodav · Answer 2 · 31 July 2018 в 11:09

Я ищу и исследую точно то же самое, я мог бы предложить https://attic-backup.org/quickstart.html#automating-backups на данный момент, кажется тихим простым и хорошим для резервного копирования linux.

Существует также бакула с этой функцией, но чердак, по-видимому, достаточно хорош для большинства случаев.

James Haigh · Answer 3 · 31 July 2018 в 11:09

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

James Haigh · Answer 4 · 31 July 2018 в 12:08

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

pablodav · Answer 5 · 2 August 2018 в 00:44

Я ищу и исследую точно то же самое, я мог бы предложить https://attic-backup.org/quickstart.html#automating-backups на данный момент, кажется тихим простым и хорошим для резервного копирования linux.

Существует также бакула с этой функцией, но чердак, по-видимому, достаточно хорош для большинства случаев.

James Haigh · Answer 6 · 4 August 2018 в 16:14

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

pablodav · Answer 7 · 6 August 2018 в 00:53

Я ищу и исследую точно то же самое, я мог бы предложить https://attic-backup.org/quickstart.html#automating-backups на данный момент, кажется тихим простым и хорошим для резервного копирования linux.

Существует также бакула с этой функцией, но чердак, по-видимому, достаточно хорош для большинства случаев.

James Haigh · Answer 8 · 6 August 2018 в 00:53

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

pablodav · Answer 9 · 7 August 2018 в 18:18

Я ищу и исследую точно то же самое, я мог бы предложить https://attic-backup.org/quickstart.html#automating-backups на данный момент, кажется тихим простым и хорошим для резервного копирования linux.

Существует также бакула с этой функцией, но чердак, по-видимому, достаточно хорош для большинства случаев.

James Haigh · Answer 10 · 7 August 2018 в 18:18

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

pablodav · Answer 11 · 10 August 2018 в 07:02

Я ищу и исследую точно то же самое, я мог бы предложить https://attic-backup.org/quickstart.html#automating-backups на данный момент, кажется тихим простым и хорошим для резервного копирования linux.

Существует также бакула с этой функцией, но чердак, по-видимому, достаточно хорош для большинства случаев.

James Haigh · Answer 12 · 10 August 2018 в 07:02

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

James Haigh · Answer 13 · 15 August 2018 в 19:00

Это звучит очень корпоративно (как в дорогом).

datadomain предлагает дедупликации данных и, возможно, netapp с их файловой системой wafl.

«Свободной» альтернативой может быть zfs.

Согласно мне, хотя «лучшая» и самая Linuxy альтернатива, хотя и на уровне файлов вместо « уровень блока ", будет rsnapshot. Он использует rsync и hardlinks для управления версиями.

Я скорее доверяю старым проверенным инструментам, чем использованию новых файловых систем, таких как Btrfs, которые не были достаточно долго, чтобы люди могли обнаружить всевозможные неприятные ошибки.

1

ответ дан James Haigh 15 August 2018 в 19:00

1

Enterprise? Нет, это больше похоже на то, что я ожидаю увидеть по умолчанию в Ubuntu в будущем из-за простоты использования. Я упомянул ZFS, но это CDDL , поэтому не Free с капиталом F. rsnapshot не является файловой системой, это скорее взлом, позволяющий использовать снимки, подобные функциям устаревших файловых систем, реальные снимки (снимки должны быть атомарными) и являются инкрементальными (см. 2-й абзац). Я предпочел бы использовать относительно новую FS, чем то, что использует инкремент. – James Haigh 11 June 2012 в 04:29
2

Я думаю, что «файловый уровень» немного неоднозначен, но я видел термин, используемый в контексте файловых систем, наряду с блочным, байтовым и битовым уровнями. Это был контекст, который я имел в виду. – James Haigh 11 June 2012 в 04:47
3

@JamesHaigh Согласно Free Software Foundation , CDDL является бесплатной (как в свободе) лицензией, она просто не совместима с GPL . Это означает, что код CDDL (например, официальная реализация ZFS) и код GPL (например, ядро Linux) не могут быть связаны друг с другом , а так как драйверы в Linux, как правило, связаны как модули, что препятствует поддержке CDDL в Linux основанные на операционной системе. – Eliah Kagan 11 June 2012 в 07:22

4

ZFS на Linux , возможно (зависит от того, кого вы спрашиваете) обходит это, будучи отдельно распределенным . Альтернативно, FUSE позволяет файловым системам "драйверы" работать в пользовательском пространстве, где они не должны сами ссылаться на ядро, а также версия FUSE ZFS также . Таким образом, у вас есть несколько вариантов использования файловых систем ZFS в таких операционных системах, как Ubuntu, которые используют Linux в качестве своего ядра. (Некоторые ОС, такие как Debian, позволяют использовать другое ядро.) – Eliah Kagan 11 June 2012 в 07:24

Блокирующая файловая система на уровне блоков

13 ответов

Другие вопросы по тегам:

Похожие вопросы: