Слишком длинный список аргументов при копировании файлов

Эта команда копирует файлы один за другим и будет работать, даже если их слишком много. их для * для расширения в одну команду cp :

for i in *; do cp "$i" ../prjshp/; done

Есть 3 ключевых момента, о которых следует помнить, когда вы сталкиваетесь с Список аргументов слишком длинный ошибка:

• Длина аргументов командной строки ограничена переменной ARG_MAX , которая согласно определению POSIX составляет «... [м] максимальная длина аргумента для функции exec , включая данные среды "(выделено)". То есть, когда оболочка выполняет команду, не являющуюся встроенной, она должна вызвать одну из exec () для создания этот процесс команды, и здесь ARG_MAX вступает в игру. Кроме того, играет роль имя или путь к самой команде (например, / bin / echo ).

• Встроенные команды оболочки выполняются оболочкой, что означает, что оболочка не использует семейство функций exec () и, следовательно, не зависит от переменной ARG_MAX . [12 61] Определенные команды, такие как xargs и find , знают о переменной ARG_MAX и многократно выполняют действия ниже этого предела

Из пунктов выше и как показано в отличном ответе Кусалананды на связанный вопрос, слишком длинный список аргументов также может возникать при большой среде. Поэтому, принимая во внимание, что среда каждого пользователя может быть разной, и размер аргумента в байтах имеет значение, трудно придумать единое количество файлов / аргументов.

Как справиться с такой ошибкой?

Главное - сосредоточиться не на количестве файлов, а на том, включает ли команда, которую вы собираетесь использовать, семейство exec () функции и по касательной - пространство стека.

Используйте встроенные модули оболочки

Как обсуждалось ранее, встроенные модули оболочки невосприимчивы к пределу ARG_MAX , то есть таким вещам, как для Цикл , цикл while , встроенный echo и встроенный printf - все они работают достаточно хорошо.

for i in /path/to/dir/*; do cp "$i" /path/to/other/dir/; done

На связанный с вопрос об удалении файлов было решение как таковое:

printf '%s\0' *.jpg | xargs -0 rm --

Обратите внимание, что здесь используется встроенный в оболочку printf . Если мы вызываем внешний printf , это будет включать exec () , следовательно, произойдет сбой с большим количеством аргументов:

$ /usr/bin/printf "%s\0" {1..7000000}> /dev/null
bash: /usr/bin/printf: Argument list too long

массивы bash

Согласно ответ от jlliagre, bash не налагает ограничений на массивы, поэтому можно также построить массив имен файлов и использовать срезы для каждой итерации цикла, как показано в ответе danjpreron :

files=( /path/to/old_dir/*.prj )
for((I=0;I<${#files[*]};I+=1000)); do 
    cp -t /path/to/new_dir/ "${files[@]:I:1000}" 
done

Это, однако, ограничивается тем, что оно специфично для bash и не относится к POSIX.

Увеличить пространство стека

Иногда можно увидеть, что люди предлагают увеличить пространство стека с помощью ] ulimit -s ; в Linux значение ARG_MAX составляет 1/4 пространства стека для каждой программы, что означает, что увеличение пространства стека пропорционально увеличивает пространство для аргументов.

# getconf reports value in bytes, ulimit -s in kilobytes
$ getconf ARG_MAX
2097152
$ echo $((  $(getconf ARG_MAX)*4 ))
8388608
$ printf "%dK\n" $(ulimit -s) | numfmt --from=iec --to=none
8388608
# Increasing stack space results in increated ARG_MAX value
$ ulimit -s 16384
$ getconf ARG_MAX
4194304

Согласно ответу Франка Дернонкура , цитирующего Linux Journal, можно также перекомпилировать ядро ​​Linux с большим значением максимального количества страниц памяти для аргументов, однако это больше работы, чем необходимо, и открывает потенциал для эксплойтов, как указано в цитируемой статье Linux Journal.

Избегайте оболочки

Другой способ - использовать python или python3 , которые по умолчанию поставляются с Ubuntu. Пример python + here-doc , приведенный ниже, - это то, что я лично использовал для копирования большого каталога файлов где-то в диапазоне 40 000 элементов:

$ python <<EOF
> import shutil
> import os
> for f in os.listdir('.'):
>    if os.path.isfile(f):
>         shutil.copy(f,'./newdir/')
> EOF

Для рекурсивного обхода вы можете использовать os. walk .

См. также:

• Что определяет максимальный размер для одного аргумента команды?