Я хочу знать, сколько оперативной памяти мой конвейер потребляет на каждом шаге. Однако для завершения программы требуется час, и я не могу оставаться на своем компьютере для отслеживания использования тысяч файлов. Я не нашел программ, которые могут выводить использование ОЗУ и ЦП на графиках. Кто-нибудь знает такую программу на ubuntu?
Для этого я бы порекомендовал Grafana. Я склонен сказать, что возможности почти безграничны.
Однако Grafana является «всего лишь» просмотрщиком, поэтому вам также нужен бэкэнд сбора данных — для этого вы можете использовать Prometheus.
Наконец, вам нужен Prometheus Node Exporter, установленный на каждом компьютере, где вы хотите собирать метрики.
Я установил этот набор инструментов с помощью контейнеров Docker - я считаю, что это самый простой способ. Тем не менее, это требует небольшого исследования с вашей стороны, чтобы настроить вещи так, как вы этого хотите.
Вот ссылки на официальные образы Docker, которые я могу порекомендовать:
И, наконец, вам нужно установить экспортер Node на машинах, где вы хотите собрать данные. Убедитесь, что репозитории "Вселенная" включены в вашем /etc/sources.list
:
deb http://archive.ubuntu.com/ubuntu focal universe
deb http://archive.ubuntu.com/ubuntu focal-updates universe
Затем запустите установку на каждом компьютере:
sudo apt install prometheus-node-exporter
У Prometheus есть очень хорошая документация о том, как настроить, и здесь есть пример конфигурационного файла на Github.
В конфигурации prometheus вам нужно задание, предназначенное для компьютеров, на которых запущен Node Exporter. В приведенном ниже примере у меня есть две машины (10.10.2.2 и 10.10.2.4) с Node Exporter, работающими на порту 9100.
- job_name: 'node-exporter'
static_configs:
- targets: ['10.10.2.2:9100', '10.10.2.4:9100']
В Grafana вам понадобится панель мониторинга для отображения статистики для Node Exporter. Здесь я могу порекомендовать Node Exporter Full dashboard для начала.
Все можно настроить, но, по крайней мере, теперь вы можете начать видеть исторические данные на своих машинах.