У меня есть большая папка с сотнями тысяч файлов. Общий размер составляет 10 ГБ
Идея состоит в том, что я хочу заархивировать эту папку, таким образом, я могу передать ее другому серверу быстрее, чем файл файлом.
Я попробовал tar cfj archive.tar.bz2 dir-to-be-archived/
но это все еще, кажется, медленно.
Я не забочусь о заключительном размере, потому что сетевое соединение работает до 100mb/s в передаче.
Я слышал что-то о lzop
но я не сделал понятый точно, как использовать его.
Так там должен так или иначе создать архив действительно быстро, как через 10-15 минут?
Если будут тысячи файлов в папке, она займет время для упаковки их всех, даже без сжатия. Если целевая машина, которую Вы используете, имеет Linux на нем также, можно быть в состоянии использовать rsync для передачи целой папки с файлами, как ( https://help.ubuntu.com/community/rsync).