Как я могу заархивировать большой объем данных в зависимости от размера zip-файлов?
У меня есть около 2 ТБ данных изображений, которые я хочу сгруппировать в файлы .zip . Размеры отдельных файлов
Я хочу поместить все эти файлы в ZIP-архивы. Любой файл .zip не может превышать 2 ГБ (1,8 ГБ для безопасности) после сжатия . Сколько Файлы .zip , которые я создаю, не вызывают беспокойства.
Как я могу это сделать? Я думаю, что основная задача здесь - выяснить, сколько файлов разного размера можно поместить в ZIP-архив, чтобы Размер архива без сжатия не превышает 2 ГБ. И, конечно же, весь процесс должен быть автоматизирован. Я не могу обработать около 80 000 изображений вручную.
Пожалуйста, предложите способы достижения этого.
1 ответ
Zip имеет в среднем примерно 62% сжатия для большинства данных. Используя этот факт, вы можете написать сценарий, который выбирает изображения до тех пор, пока их общий размер не станет (1,8 ГБ / 0,62) = ~ 2,9 ГБ, затем сжимает этот набор, перемещает куда-то оригиналы, затем повторяет с другим набором и так далее.
Или, проще говоря, вы можете воспользоваться тем, что один Zip-файл можно разделить. Затем вы можете сделать один большой архив и разделить его на более мелкие файлы любого размера, как описано здесь: https://superuser.com/questions/336219/how-do-i-split-a-zip-file. -into-multiple-segments
Другие форматы, такие как 7-Zip, предлагают лучшую степень сжатия, поэтому вы можете рассмотреть их, если важна экономия места.