Wget в сценарии оболочки с использованием шаблона

Я не знаком с tcsh, поэтому в tcsh может быть хорошее решение для этого.

Тем не менее, я знаком с bash и вижу, что может быть причиной этой проблемы. Обратите внимание на цитату здесь:

set OPT="-r -c -nH -np -nd -e robots=off -P PATH/$ID -A 'pattern*.extension' -a $ID.log"

Существует внешний слой цитат и, кроме того, внутренний слой цитат для pattern*.expansion. Предположительно вы используете внутренний слой, потому что так выглядело бы вы, если бы вы действительно набрали команду в оболочке.

Как это работает, оболочка выполняет различные расширения в командной строке, такие как расширение переменных, расширение по шаблону и т. Д. Поэтому в такой команде, как:

wget $OPT ...

оболочка будет расширяться $OPT до его содержимое, разделение полей, разделение содержимого $OPT на отдельные слова и расширение по шаблону (или подстановка), в котором команда не выполняется:

> set foo="'*'"
> echo $foo
echo: No match.
> echo "$foo"
'*'

Обратите внимание, как заключаются в кавычки $foo ] предотвратил ошибку? Но вы не можете использовать кавычки в вашем скрипте, так как кавычки также предотвратят разделение полей, и вы полагаетесь на разделение полей, так что различные опции в $OPT (-r, -c и т. Д.) Передаются как отдельные Аргументы к wget.

Вот демонстрация различий с кавычками и без них:

> printf "|%s|\n" "$OPT"
|-r -c -nH -np -nd -e robots=off -P PATH/foo -A 'pattern*.extension' -a foo.log|
> printf "|%s|\n" $OPT
printf: No match.
> printf "|%s|\n" -r -c -nH -np -nd -e robots=off -P PATH/$ID -A 'pattern*.extension' -a $ID.log
|-r|
|-c|
|-nH|
|-np|
|-nd|
|-e|
|robots=off|
|-P|
|PATH/foo|
|-A|
|pattern*.extension|
|-a|
|foo.log|

Я полагаю, это может сработать, если вы использовали:

set OPT="-r -c -nH -np -nd -e robots=off -P PATH/$ID -A pattern*.extension -a $ID.log"

Но это может привести к расширению подстановочного знака, если вы не t использовать "$OPT", и в рабочем каталоге есть файлы, соответствующие pattern*.extension:

> touch pattern-abc.extension
> printf "|%s|\n" $OPT
printf: No match.
> set set OPT="-r -c -nH -np -nd -e robots=off -P PATH/$ID -A pattern*.extension -a $ID.log"
> printf "|%s|\n" $OPT
|-r|
|-c|
|-nH|
|-np|
|-nd|
|-e|
|robots=off|
|-P|
|PATH/foo|
|-A|
|pattern-abc.extension|      <---- tcsh expanded pattern*.extension
|-a|
|foo.log|

Опять же, я не достаточно опытен в tcsh, чтобы предложить хорошее решение, но я знаю достойное решение в bash :

Используйте массивы для построения командных строк.

В bash ваш скрипт будет выглядеть так:

#!/bin/bash
ID=$1  #just an ID for subfolders
shift

OPT2=("$@")  #additional options that can be passed to wget
OPT=(-r -c -nH -np -nd -e robots=off -P PATH/"$ID" -A 'pattern*.extension' -a "$ID".log)
OOP=(--progress=bar:force --no-check-certificate)

echo wget "${OPT[@]}" "${OOP[@]}" "${OPT2[@]}" "https://.../$ID/"
wget "${OPT[@]}" "${OOP[@]}" "${OPT2[@]}" "https://.../$ID/"

Я внес несколько изменений здесь. Вы присвоили $3 OPT2, но затем перебрали все аргументы (по сути, именно это и сделает while ($1 != '') ... shift), но без использования этих аргументов в цикле, что не имеет смысла - второй аргумент для скрипт фактически игнорируется, но третий аргумент используется как опция. Учитывая фрагмент Python, я собираюсь предположить, что только первый аргумент является идентификатором, а остальные являются опциями для wget.

Теперь, используя массив, подобный так:

OPT=(-r -c -nH -np -nd -e robots=off -P PATH/"$ID" -A 'pattern*.extension' -a "$ID".log)

Позволяет нам расширяться до каждого отдельного слова в массиве, не рискуя разбить поле или генерировать имя файла, используя "${OPT[@]}" в bash:

$ printf "|%s|\n" "${OPT[@]}"
|-r|
|-c|
|-nH|
|-np|
|-nd|
|-e|
|robots=off|
|-P|
|PATH/foo|
|-A|
|pattern*.extension|
|-a|
|foo.log|

Каждый аргумент прекрасно сохраняется.