Как к tar.gz много файлов подобного размера в несколько архивов с пределом размера

Полностью пэчворк и быстрый, грубый эскиз, как это, но протестированный на каталоге с 3 000 файлов, сценарий ниже сделал чрезвычайно быстрое задание:

#!/usr/bin/env python3
import subprocess
import os
import sys

splitinto = 2

dr = sys.argv[1]
os.chdir(dr)

files = os.listdir(dr)
n_files = len(files)
size = n_files // splitinto

def compress(tar, files):
    command = ["tar", "-zcvf", "tarfile" + str(tar) + ".tar.gz", "-T", "-", "--null"]
    proc = subprocess.Popen(command, stdin=subprocess.PIPE)
    with proc:
        proc.stdin.write(b'\0'.join(map(str.encode, files)))
        proc.stdin.write(b'\0')
    if proc.returncode:
        sys.exit(proc.returncode)

sub = []; tar = 1
for f in files:
    sub.append(f)
    if len(sub) == size:
        compress(tar, sub)
        sub = []; tar += 1

if sub:
    # taking care of left
    compress(tar, sub)

Как использовать

• Сохраните его в пустой файл как compress_split.py
• В главном разделе, определенном номер файлов для сжатия в. На практике всегда будет еще один для заботы об оставлении немногими "левыми верхними мячами".

• Выполните его с каталогом с Вашими файлами как аргумент:

  python3 /path/tocompress_split.py /directory/with/files/tocompress
  

пронумерованный .tar.gz файлы будут созданы в том же каталоге как, где файлы.

Объяснение

Сценарий:

• списки все файлы в каталоге
• CD в каталог для предотвращения добавления информации о пути в файл tar
• прочитывает список файлов, группируя их подразделением набора
• сжимает sub группу (группы) в пронумерованные файлы

Править

Автоматически создайте блоки размером в МБ

Более сложный должен использовать макс. - размер (в МБ) блоков как (второй) аргумент. В сценарии ниже, блоки записаны в сжатый файл, как только блок достигает (передает) порог.

Так как сценарий инициирован блоками, превысив порог, это будет только работать, если размер (всех) файлов будет существенно меньшим, чем размер блока.

Сценарий:

#!/usr/bin/env python3
import subprocess
import os
import sys

dr = sys.argv[1]
chunksize = float(sys.argv[2])
os.chdir(dr)

files = os.listdir(dr)
n_files = len(files)

def compress(tar, files):
    command = ["tar", "-zcvf", "tarfile" + str(tar) + ".tar.gz", "-T", "-", "--null"]
    proc = subprocess.Popen(command, stdin=subprocess.PIPE)
    with proc:
        proc.stdin.write(b'\0'.join(map(str.encode, files)))
        proc.stdin.write(b'\0')
    if proc.returncode:
        sys.exit(proc.returncode)

sub = []; tar = 1; subsize = 0
for f in files:
    sub.append(f)
    subsize = subsize + (os.path.getsize(f)/1000000)
    if subsize >= chunksize:
        compress(tar, sub)
        sub = []; tar += 1; subsize = 0

if sub:
    # taking care of left
    compress(tar, sub)

Работать:

python3 /path/tocompress_split.py /directory/with/files/tocompress chunksize

... где chunksize является размером входа для команды tar.

В этом включены предложенные улучшения @DavidFoerster.Большое спасибо!