Время Gzip для распаковки?

Самый простой способ взглянуть на ход запущенного процесса gzip - просто посмотреть размер файла написанного файла, потенциально в сочетании с watch, если вы хотите обновлять в реальном времени. Если вы имеете дело с разделами, которые, конечно, нелегко.

Альтернативой оценке прогресса является использование iotop. iotop покажет вам скорость, с которой данные записываются на диск по каждому процессу в системе, ваш gzip процесс, скорее всего, появится вверху и даст вам количество обработанных данных в секунду. Затем просто умножьте MB / sec с тем, как долго выполнялся процесс (см. Столбец START ps auxw), и вы получите приблизительное представление о том, как долго это займет.

Что касается последующих прогонов резервного копирования: используйте rsync, когда вы хотите скопировать данные с одного компьютера в сети на другой. rsync обрабатывает сжатие и дельта, поэтому вам нужно только перенести данные, которые у вас еще нет, что делает его очень быстрым для регулярных обновлений. rsync также имеет опции --backup и --backup-dir, которые могут использоваться для создания не только копий, но и надлежащих резервных копий, которые отслеживают удаленные файлы.

И при выполнении diskimages partimage является хорошей альтернативой dd, так как в отличие от dd partimage известно файловой системе и будет копировать только блоки, фактически используемые файловой системой, а не пустые неиспользуемые блоков, таким образом, он может создавать гораздо меньшие образы дисков в большинстве пустых файловых систем. Но это не лучший инструмент для резервного копирования по сети, вместо этого используйте rsync.

Обычно распаковка в gzip должна выполняться быстрее, чем сжатие. Я подозреваю, что проблема заключается в том, что целевой диск медленнее, чем диск, с которого он был сжат: или, возможно, вы читаете и записываете на тот же физический диск, который вызывает много поиска.

Другие ответы правильны, что обычно лучше создавать резервные копии файлов, а не сырое устройство.

Чтобы увидеть прогресс, я бы установил pv , а затем скажу что-то вроде этого :

zcat /tmp/myimg.gz |pv -s500G > /tmp/myimg

Хост должен предоставить вам план резервного копирования и (наиболее предпочтительно) веб-интерфейс для средств резервного копирования и восстановления. Лучше было бы спросить их, разрешают ли они вам получить копию автоматизированной резервной копии.

Обычно распаковка в gzip должна выполняться быстрее, чем сжатие. Я подозреваю, что проблема заключается в том, что целевой диск медленнее, чем диск, с которого он был сжат: или, возможно, вы читаете и записываете на тот же физический диск, который вызывает много поиска.

Другие ответы правильны, что обычно лучше создавать резервные копии файлов, а не сырое устройство.

Чтобы увидеть прогресс, я бы установил pv , а затем скажу что-то вроде этого :

zcat /tmp/myimg.gz |pv -s500G > /tmp/myimg

Вот статья, которую я видел с некоторыми бенчмарками для gzip и некоторых других алгоритмов сжатия: http://tukaani.org/lzma/benchmarks.html . Я бы предположил, что время декомпрессии зависит от скорости вашего процессора. Кроме того, если вы просматриваете тесты, кажется, что декомпрессия почти всегда быстрее сжатия.

Изменить:

В ответ на ваш последний вопрос о других способах резервного копирования вашего сервера , Я нашел эту статью, которая рассказывает о различных методах резервного копирования: http://www.techrepublic.com/blog/10things/10-outstanding-linux-backup-utilities/895 . Я не уверен, какой доступ у вас есть к серверу, но если это обычный коммерческий хост, вы можете попросить техническую поддержку, как вы должны это делать.

Вот статья, которую я видел с некоторыми бенчмарками для gzip и некоторых других алгоритмов сжатия: http://tukaani.org/lzma/benchmarks.html . Я бы предположил, что время декомпрессии зависит от скорости вашего процессора. Кроме того, если вы просматриваете тесты, кажется, что декомпрессия почти всегда быстрее сжатия.

Изменить:

В ответ на ваш последний вопрос о других способах резервного копирования вашего сервера , Я нашел эту статью, которая рассказывает о различных методах резервного копирования: http://www.techrepublic.com/blog/10things/10-outstanding-linux-backup-utilities/895 . Я не уверен, какой доступ у вас есть к серверу, но если это обычный коммерческий хост, вы можете попросить техническую поддержку, как вы должны это делать.

Вот статья, которую я видел с некоторыми бенчмарками для gzip и некоторых других алгоритмов сжатия: http://tukaani.org/lzma/benchmarks.html . Я бы предположил, что время декомпрессии зависит от скорости вашего процессора. Кроме того, если вы просматриваете тесты, кажется, что декомпрессия почти всегда быстрее сжатия.

Изменить:

В ответ на ваш последний вопрос о других способах резервного копирования вашего сервера , Я нашел эту статью, которая рассказывает о различных методах резервного копирования: http://www.techrepublic.com/blog/10things/10-outstanding-linux-backup-utilities/895 . Я не уверен, какой доступ у вас есть к серверу, но если это обычный коммерческий хост, вы можете попросить техническую поддержку, как вы должны это делать.

Обычно распаковка в gzip должна выполняться быстрее, чем сжатие. Я подозреваю, что проблема заключается в том, что целевой диск медленнее, чем диск, с которого он был сжат: или, возможно, вы читаете и записываете на тот же физический диск, который вызывает много поиска.

Другие ответы правильны, что обычно лучше создавать резервные копии файлов, а не сырое устройство.

Чтобы увидеть прогресс, я бы установил pv , а затем скажу что-то вроде этого :

zcat /tmp/myimg.gz |pv -s500G > /tmp/myimg

Вы не хотите, чтобы (ab) использовал dd. Он будет тратить время на копирование 95% диска, который не используется, и вы получите поврежденное изображение, если в это время он установил чтение / запись. Если вы хотите создать резервную копию системы, лучше всего отключить все службы, которые можно записать на диск, и использовать tar.

Хост должен предоставить вам план резервного копирования и (наиболее предпочтительно) веб-интерфейс для средств резервного копирования и восстановления. Лучше было бы спросить их, разрешают ли они вам получить копию автоматизированной резервной копии.

Самый простой способ взглянуть на ход запущенного процесса gzip - просто посмотреть размер файла написанного файла, потенциально в сочетании с watch, если вы хотите обновлять в реальном времени. Если вы имеете дело с разделами, которые, конечно, нелегко.

Альтернативой оценке прогресса является использование iotop. iotop покажет вам скорость, с которой данные записываются на диск по каждому процессу в системе, ваш gzip процесс, скорее всего, появится вверху и даст вам количество обработанных данных в секунду. Затем просто умножьте MB / sec с тем, как долго выполнялся процесс (см. Столбец START ps auxw), и вы получите приблизительное представление о том, как долго это займет.

Что касается последующих прогонов резервного копирования: используйте rsync, когда вы хотите скопировать данные с одного компьютера в сети на другой. rsync обрабатывает сжатие и дельта, поэтому вам нужно только перенести данные, которые у вас еще нет, что делает его очень быстрым для регулярных обновлений. rsync также имеет опции --backup и --backup-dir, которые могут использоваться для создания не только копий, но и надлежащих резервных копий, которые отслеживают удаленные файлы.

И при выполнении diskimages partimage является хорошей альтернативой dd, так как в отличие от dd partimage известно файловой системе и будет копировать только блоки, фактически используемые файловой системой, а не пустые неиспользуемые блоков, таким образом, он может создавать гораздо меньшие образы дисков в большинстве пустых файловых систем. Но это не лучший инструмент для резервного копирования по сети, вместо этого используйте rsync.

Вы не хотите, чтобы (ab) использовал dd. Он будет тратить время на копирование 95% диска, который не используется, и вы получите поврежденное изображение, если в это время он установил чтение / запись. Если вы хотите создать резервную копию системы, лучше всего отключить все службы, которые можно записать на диск, и использовать tar.

Вот статья, которую я видел с некоторыми бенчмарками для gzip и некоторых других алгоритмов сжатия: http://tukaani.org/lzma/benchmarks.html . Я бы предположил, что время декомпрессии зависит от скорости вашего процессора. Кроме того, если вы просматриваете тесты, кажется, что декомпрессия почти всегда быстрее сжатия.

Изменить:

В ответ на ваш последний вопрос о других способах резервного копирования вашего сервера , Я нашел эту статью, которая рассказывает о различных методах резервного копирования: http://www.techrepublic.com/blog/10things/10-outstanding-linux-backup-utilities/895 . Я не уверен, какой доступ у вас есть к серверу, но если это обычный коммерческий хост, вы можете попросить техническую поддержку, как вы должны это делать.

Хост должен предоставить вам план резервного копирования и (наиболее предпочтительно) веб-интерфейс для средств резервного копирования и восстановления. Лучше было бы спросить их, разрешают ли они вам получить копию автоматизированной резервной копии.

Вот статья, которую я видел с некоторыми бенчмарками для gzip и некоторых других алгоритмов сжатия: http://tukaani.org/lzma/benchmarks.html . Я бы предположил, что время декомпрессии зависит от скорости вашего процессора. Кроме того, если вы просматриваете тесты, кажется, что декомпрессия почти всегда быстрее сжатия.

Изменить:

В ответ на ваш последний вопрос о других способах резервного копирования вашего сервера , Я нашел эту статью, которая рассказывает о различных методах резервного копирования: http://www.techrepublic.com/blog/10things/10-outstanding-linux-backup-utilities/895 . Я не уверен, какой доступ у вас есть к серверу, но если это обычный коммерческий хост, вы можете попросить техническую поддержку, как вы должны это делать.

Хост должен предоставить вам план резервного копирования и (наиболее предпочтительно) веб-интерфейс для средств резервного копирования и восстановления. Лучше было бы спросить их, разрешают ли они вам получить копию автоматизированной резервной копии.