Перейти к содержанию
Обсудить задачу →
Статьи и инструкции

Мониторинг Linux: рабочий набор команд от симптома до постоянных метрик

Пошаговая диагностика Linux: CPU, память, I/O, сеть, systemd, PSI и cgroup. Установка node_exporter, scrape, alert и проверка уведомлений.
Мониторинг Linux: рабочий набор команд от симптома до постоянных метрик — техническая иллюстрация

Перечень из восьмидесяти программ не помогает понять, почему приложение стало медленным. Администратору нужен порядок: зафиксировать время и симптом, посмотреть нагрузку системы, локализовать ресурс, найти процесс и проверить результат изменения. Эта статья заменяет старую коллекцию инструментов практическим набором для Debian/Ubuntu с systemd. Для других дистрибутивов меняется установка пакетов, но смысл измерений сохраняется. Команды читают состояние; установка агента и изменение конфигурации мониторинга выполняются отдельно в согласованное окно.

Сначала записывайте часовой пояс, uptime, release и время начала жалобы. Без общей временной шкалы нельзя сопоставить журнал приложения, storage и сеть. Не перезагружайте сервер до сбора минимальных данных: после рестарта часть следов исчезнет.

Диагностика Linux: симптом, ресурсы, процесс, метрики и контроль исправления
Порядок проверки и настройки. Команды, ограничения и диагностика приведены в статье.

1. Собрать базовый снимок и установить диагностические инструменты

date -Is
timedatectl status
uptime
cat /etc/os-release
uname -r
ip -br address
systemctl --failed --no-pager
sudo apt update
sudo apt install sysstat procps iproute2 lsof curl

В production сначала изучите план APT; диагностические пакеты не должны неожиданно менять критичные зависимости. sysstat содержит mpstat, pidstat, iostat и sar. top, free и vmstat — procps, ss — iproute2. Официальный проект sysstat. Если нет root, начните доступными чтениями и укажите ограничения: отсутствие прав может скрыть процессы или журналы.

Сохранение output в файл полезно, но путь должен быть на файловой системе с достаточным местом. Полный journal и lsof могут содержать пользовательские имена и пути; перед передачей клиенту или поставщику удалите ненужные данные и секреты.

2. Разобрать CPU, load average и отдельные ядра

Load average отражает runnable и часть задач в непрерываемом ожидании, поэтому высокая load не равна только высокой загрузке CPU. Сравните число процессоров, отдельные ядра, user/system/iowait и steal. Средние 20% по серверу могут скрывать один полностью занятый поток.

nproc
mpstat -P ALL 1 10
vmstat 1 10
ps -eo pid,ppid,stat,pcpu,pmem,comm --sort=-pcpu | head -n 20
pidstat -u -p 1234 1 10

Первый vmstat отчёт обычно усреднён с запуска: оценивайте последующие. В VM steal показывает время, когда виртуальный CPU не исполнялся из-за гипервизора; причина может быть за пределами гостевой ОС. Состояние D требует проверки ожидаемого ресурса, а не автоматического kill. При высоком system ищите syscall/network/storage work; при высоком user — функцию приложения. Решение «добавить vCPU» проверяется нагрузкой и лицензированием, а не назначается по одному скриншоту top.

3. Проверить память, swap и OOM

Linux использует память под cache, поэтому малая free не обязательно означает нехватку. Для первичной оценки полезнее available вместе со swap-in/out и memory pressure. Наличие занятого swap само по себе не доказывает текущий thrashing: страницы могли попасть туда давно.

free -h
vmstat 1 10
cat /proc/meminfo
cat /proc/pressure/memory
sudo journalctl -k --since '-2 hours' --no-pager | grep -Ei 'oom|out of memory|killed process'
ps -eo pid,rss,vsz,comm --sort=-rss | head -n 20

RSS процессов нельзя безоговорочно сложить и назвать физическим потреблением: общие страницы могут быть учтены несколько раз. При OOM в контейнере хост может иметь свободную память, а cgroup уже достиг limit. Установите, что было убито, какой limit применялся и когда. Добавление swap не возвращает завершённую транзакцию; после восстановления сервисов нужен анализ причины роста и тест под пиковой нагрузкой.

4. Проверить I/O, заполнение и inode

findmnt -T /var/lib
df -hT
df -i
iostat -xz -y 1 10
pidstat -d 1 10
cat /proc/pressure/io
sudo journalctl -k --since '-2 hours' --no-pager | grep -Ei 'I/O error|timeout|reset|read-only'

await включает очередь и обслуживание, aqu-sz показывает среднюю очередь. %util на многоканальном NVMe не является универсальным процентом исчерпанной ёмкости. Разделяйте перегрузку и аппаратные ошибки: один случай требует контроля workload, другой — плана сохранения данных и замены. При свободных гигабайтах и исчерпанных inode массовое создание файлов завершится ошибкой. Если df и du сильно отличаются, ищите открытые удалённые файлы, mountpoints и reserved blocks, а не удаляйте неизвестные каталоги. Подробная процедура — в статье о диагностике дисков.

5. Локализовать сетевую проблему

Сначала маршрут, интерфейс и порт; затем DNS и приложение. Ping может работать, когда TCP блокируется. Успешное TCP-соединение, в свою очередь, не доказывает корректный HTTP-ответ. В контейнере и namespace смотрите тот контекст, где работает сервис.

ip -s link
ip route
ip route get 192.0.2.10
ss -lntup
ss -s
getent ahosts example.com
curl --connect-timeout 5 --max-time 10 -I https://example.com/

192.0.2.10 — адрес документационного диапазона; замените на реальный согласованный target. Растущие drops/errors сопоставьте с switch port, driver и нагрузкой. Не обнуляйте firewall, чтобы «проверить быстро»: добавьте ограниченное временное разрешение по процедуре и уберите его после теста. Curl выводит HTTP status и headers; для health-check используйте endpoint, который отражает зависимые компоненты, а не просто всегда возвращает 200.

6. Сопоставить службу, PID и журнал

systemctl status nginx --no-pager
systemctl show nginx -p MainPID -p ActiveState -p SubState -p NRestarts
journalctl -u nginx --since '2026-10-11 09:00:00' --until '2026-10-11 09:15:00' --no-pager
systemctl cat nginx

nginx и время — примеры. Status active сообщает о процессе, но не о корректности запросов. Смотрите конфигурацию unit и drop-ins, чтобы понимать реальный запуск. Повторные restart могут маскировать crash loop. Если журнал пуст, проверьте выбранный boot, retention и stdout/stderr приложения; это не доказательство отсутствия ошибок.

Перед reload проверьте конфигурацию штатным валидатором приложения; для nginx это nginx -t. При fail сначала исправьте ошибку и только затем reload. journalctl в Debian. Самостоятельное удаление журналов во время расследования уничтожает временную шкалу.

7. Использовать PSI и cgroup, когда средние показатели скрывают проблему

PSI оценивает время задержки задач из-за нехватки ресурса. some означает, что задерживалась хотя бы часть задач; full для памяти/I/O — что одновременно задерживались все non-idle задачи. avg10/60/300 — доли времени в соответствующих окнах, total — накопленное время в микросекундах. Это другой показатель, чем проценты использования CPU.

cat /proc/pressure/cpu
cat /proc/pressure/memory
cat /proc/pressure/io
systemctl show nginx -p ControlGroup
# Путь заменить значением ControlGroup нужной службы
cat /sys/fs/cgroup/system.slice/nginx.service/memory.current
cat /sys/fs/cgroup/system.slice/nginx.service/memory.events
cat /sys/fs/cgroup/system.slice/nginx.service/cpu.stat

Пример предполагает cgroup v2 и указанную структуру systemd; проверьте mount и реальный путь. memory.events oom/oom_kill показывают события ограничения cgroup, cpu.stat throttled — ограничение CPU при соответствующем контроллере. Отсутствие файла — причина проверить поддержку, а не записать нулевое значение. PSI ядра Linux и cgroup v2.

8. Добавить node_exporter и проверить scrape

Для Debian/Ubuntu используйте штатный пакет, если его версия и политика обслуживания подходят проекту. Доступ к TCP 9100 ограничьте monitoring-сегментом средствами существующего firewall. Не публикуйте exporter в Internet. Перед установкой сохраните план изменения и убедитесь, что collector не раскрывает лишние сведения.

sudo apt install prometheus-node-exporter
systemctl status prometheus-node-exporter --no-pager
ss -lntp | grep ':9100'
curl --fail --connect-timeout 3 --max-time 10 http://127.0.0.1:9100/metrics | head -n 20

Если в вашем проекте уже используется активный UFW с запретом входящих по умолчанию, конкретное разрешение только monitoring-серверу 10.10.10.5 выглядит так. Не включайте UFW удалённо без проверки текущих правил и сохранённого административного доступа:

sudo ufw status numbered
sudo ufw allow from 10.10.10.5 to any port 9100 proto tcp comment 'node-exporter-monitoring'
sudo ufw status numbered

Проверьте TCP 9100 с разрешённого и с другого тестового адреса: доступ должен отличаться. Существующее широкое allow 9100 нужно отдельно ограничить по согласованной процедуре; новое узкое правило не отменяет старое. Для nftables/firewalld используется действующая политика проекта, без добавления параллельного firewall.

На monitoring-сервере добавьте отдельный job в существующий prometheus.yml, не заменяя остальные scrape_configs:

scrape_configs:
  - job_name: linux-nodes
    scrape_interval: 30s
    static_configs:
      - targets: ['10.10.10.15:9100']
        labels:
          environment: lab

Затем promtool check config с фактическим путём конфигурации и штатный reload по процедуре проекта. В Targets должен появиться UP; ошибка timeout отличается от connection refused и неверного HTTP path. node_exporter и конфигурация Prometheus.

9. Настроить полезные alerts и проверять свежесть

Тревога должна иметь владельца, время реакции и действие. Отдельно контролируйте недоступность scrape; отсутствие свежих метрик нельзя считать нормальным состоянием. Ниже — минимальное правило, которое добавляется в rules file, уже подключённый через rule_files. Оно не создаёт канал уведомлений: Alertmanager и маршрутизация настраиваются отдельно.

groups:
  - name: linux-availability
    rules:
      - alert: LinuxNodeUnavailable
        expr: up{job="linux-nodes"} == 0
        for: 2m
        labels:
          severity: warning
        annotations:
          summary: 'Недоступен exporter {{ $labels.instance }}'
          description: 'Проверить хост, TCP 9100, exporter и monitoring path.'
promtool check config /etc/prometheus/prometheus.yml
promtool check rules /etc/prometheus/rules/linux.yml

Фактические пути зависят от развёртывания. В лаборатории остановите только тестовый exporter, дождитесь firing и проверьте доставку, затем запустите его и убедитесь в resolved. Контроль отсутствующего target требует отдельной absent/инвентаризационной проверки: удалённый job уже не даст up=0. Правила оповещения Prometheus.

10. Оформить расследование и проверить исправление

Зафиксируйте симптом пользователя, временное окно, сравнение с нормальным состоянием, host/VM/container, CPU, память, I/O, сеть и приложение. Выдвигайте проверяемую гипотезу: «задержка совпадает с I/O pressure и backup job», а не «Linux тормозит». Одновременно меняйте один фактор и сохраняйте исходную конфигурацию.

После исправления повторите исходную нагрузку, сравните latency/errors/pressure и проверьте приложение. Reload/restart сам по себе не является критерием решения. Для агента возврат — восстановить прежнюю конфигурацию и удалить только добавленный monitoring job/пакет по согласованному плану; не выключать весь monitoring stack. Для ресурса возврат зависит от конкретного изменения и должен быть подготовлен заранее. Передача в сопровождение включает dashboard, alert route, инструкции проверки и подтверждённое восстановление сервисов после отказа.

Нужно организовать мониторинг Linux-систем?

Полезный мониторинг связывает метрики с порогами, уведомлениями, ответственными и действиями при отклонениях.