wget (или что-то) для получения общего размера каталога?
Я хотел бы знать общий размер репозиториев человечности здесь. Существует ли команда, которую я могу использовать (возможно, включающий wget), который запрашивает общий размер всех файлов в этом каталоге, не загружая их?
5 ответов
Выполнение быстрого -hd1 единицы Добсона на моем собственном персональном зеркале Ubuntu официального репозитория, содержащего 10,04 Lucid, 12.04 Точных и 14.04 Надежных людей, я использую 418 ГБ дискового пространства (не включая Отдельно оплачиваемые предметы и репозитории Партнера):
$ du -hd1
1.1G ./dists
417G ./pool
418G .
$
$ du -hd1 dists
160M dists/lucid
2.1M dists/lucid-backports
42M dists/lucid-proposed
58M dists/lucid-security
93M dists/lucid-updates
200M dists/precise
2.4M dists/precise-backports
71M dists/precise-proposed
59M dists/precise-security
102M dists/precise-updates
256M dists/trusty
888K dists/trusty-backports
40M dists/trusty-proposed
7.4M dists/trusty-security
16M dists/trusty-updates
1.1G dists
$
$ du -hd1 pool
217G pool/universe
171G pool/main
5.4G pool/restricted
24G pool/multiverse
417G pool
$
Мое зеркало содержит 32-разрядный, 64-разрядный и исходные данные, обновленные один раз в 24 часа.
Помнят, что определенные пакеты совместно используются выпусками, поэтому даже если зеркало каждого отдельного выпуска отдельно было, для пользы аргументов, 200 ГБ каждый, который не обязательно подразумевает, что объединение трех выпусков автоматически использует 600 ГБ пространства, потому что Вы только сохраняете одну копию каждого уникального файла в Вашем зеркале.
Позволяют нам быть честными, 500 ГБ через три, Это не все из дискового пространства в эти дни...
Не имея возможности к SSH в сервер и выполненный du на каталоге не кажется вероятным, что можно получить эту информацию Однако, можно быть в состоянии использовать wget - паук с этой целью. Источник
Просто идея.
Начинают загружать рекурсивный весь index.html файлы с wget:
wget -r -np -A "*.html" http://ubuntu.uni-klu.ac.at/ubuntu/pool/main
Тогда тип в той же папке другая команда (можно сделать это, в то время как другая команда работает):
find -type f | xargs cat | grep -oP '[0-9]+[K,M]' | \
sed 's/\([0-9]*\)K/\(\1*1024\)/g; s/\([0-9]*\)M/\(\1*1024*1024\)/g;' | \
paste -sd+ | bc
число, которое распечатывает команда, является размером в байтах. Но отметьте, необходимо ожидать первой команды для окончания, прежде чем вторая команда распечатает корректный размер.
Вы использование apt-mirror:
Установка это через:
sudo apt-get install apt-mirror
настраивают его то же как в этом tuorial, тогда как только Вы работаете
sudo apt-mirror
, Это сообщит о Вас с размером репозиториев. Добавленная стоимость способного зеркала по другим ответам является возможностью найти каждый размер репозитория одним, таким образом, можно просто сохранить основное, например, и прокомментировать других тогда, Вы получаете размер основного, и таким образом...
Я думаю, что это отвечает на вопрос хорошо, поскольку он позволит Вам получать размер каталога любого открытого каталога (не только repo [способное зеркало]), не загружая файлов. Это также довольно просто и быстро.
TL; DR
Установите rclone и замените URL тем, что Вы хотите.
Установите Rclone (Двоичные файлы, доступные здесь)
curl https://rclone.org/install.sh | sudo bash
Получите Размер Каталога (URL замены с любым открытым каталогом, удостоверьтесь, что не удалили :http:)
rclone size --http-url http://ubuntu.uni-klu.ac.at/ubuntu/pool/ :http:
Объяснение
Используя rclone + http с дополнительным монтированием добьется цели.
Это дает Вам свободу проверить размер со всеми видами методов. rclone size http: или rclone mount http: directory/ затем cd directory/ и du -sh или du -hd1 или ncdu (отсюда) или (НЕ рекомендуемый) ls -shR
Это могло бы быть Вашим наилучшим вариантом:
Вы могли бы не хотеть ковать сервер путем корректировки значений и дополнительно добавления/удаления --fast-list в этой команде:
rclone size http: -v --tpslimit 5 --bwlimit 500K --checkers 5 --fast-list
Корректируйтесь или вниз согласно Вашим потребностям и что Вы думаете, что сервер может обработать. Например, через только пару минут, я смог использовать rclone size на сервере, что я думал, согласится с ним и возвратили эти результаты.
rclone size --http-url http://apollo.sese.asu.edu/data/ :http: --checkers 100
Общие объекты: 195669
Общий размер: 123.619 TBytes (135920738673216 байтов)