Одним из первых и до сих пор наиболее функциональных является Webacula (Web + Bacula).

Возможности Webacula

Webacula является типичным веб-приложением, требующим для своей работы стандартную связку LAMP (Linux+Apache+MySQL+PHP). Построен при помощи Zend framework. Используя веб-браузер администратор может удаленно запустить задание, восстановить файлы по идентификатору задания, из самой последней копии клиента, данные перед указанным временем, вывести запланированные и выполненные задания (все и в 24 часовом промежутке), задания выполненные с ошибками (за 7 дней), вывод временной диаграммы заданий и состояния хранилищ, монтирование и размонтирование хранилищ, состояние томов. Возможно транслирование результатов в RSS ленту. Кроме этого доступен журнал (хранится в базе данных webacula), в который администратор самостоятельно записывает необходимую ему информацию (описание задания, сбои и причины и так далее). Такие записи могут содержать гиперссылки на задания, для быстрого перехода.
Интерфейс Webacula переведен на 6 языков, в списке есть и русский. Основные номера версий совпадают с Bacula, текущей на момент написания статьи является 3.1. Распространяется на условиях GPLv3.

Основные возможности :

• Запуск Заданий
• Восстановление всех файлов или выбранных файлов для указанного Id Задания
• Восстановление самого свежего бэкапа для клиента
• Восстановление бэкапа, сделанного перед указанным временем
• Построение временной диаграмы выполнения Заданий
• Монтирование, размонтирование Хранилищ
• Показ Заданий, завершившихся с ошибками, сбоями (за последние 7 дней)
• Показ состояния ваших Томов
• Показ запланированных Заданий (на ближайшие 24 часа)
• Показ всех выполняющихся Заданий
• Показ завершившихся Заданий (выполненных за последние 24 часа)
• Поиск Заданий по нескольким критериям
• Выдача детальной информации о Пулах, Томах, Хранилищах и Клиентах
• RSS лента
• Мультиязычность. В настоящее время поддерживаются языки: английский, немецкий, французский, бразильский португальский, русский.
• Журнал – простой электронный журнал для записей о бэкапах. Оператор вручную работает с журналом: добавляет, изменяет, удаляет записи. Записи могут содержать ссылки (обычные веб-ссылки по которым можно кликать) на Задания Bacula или ссылки на другие записи в журнале. В журнал записывается информация, например, о различных сбоях в Заданиях, и других нештатных ситуациях. Журнал хранится в отдельной БД “webacula”, теперь поддерживаются MySQL, PostgreSQL и Sqlite.

В зависимости от настроек, демон может проверять:

• Существование процесса по PID
• Работу определенного порта (TCP/UDP)
• Ответ определенного протокола по определенному порту (SMTP, SSH, HTTP…)
• Ресурсы, занимаемые процессом (CPU time/RAM)
• MD5 checksum
• Объем и свободное пространство в файловой системе
• Количество активных (и суммарное) i-node-в
• Права доступа к файлу или каталогу

Никто не запрещает комбинировать различные методы проверки. Для одного объекта проверки (тесты) зависят друг от друга, то есть сначала проводится тест1, если он прошел без ошибок — тест2, затем — тест3 и т.д.
В случае, если какой-то тест не пройден, monit может:

• Остановить, стартовать или перезапустить демона
• Подождать определенное время
• Уведомить админа (почтовым сообщением)
• Примонтировать, отмонтировать или перемонтировать файловую систему
• Запустить отдельный скрипт (заранее написаный админом), причем передать ему определенные параметры (имя процеса/текст ошибки и т.д.)

Действия также никто не запрещает комбинировать, например:
Если HTTPd занимает более 200 мегабайт — ждать минуту, если ничего не изменилось — перезапустить сервис, если это также не помогло — прождать пять минут. Если и это не помогло — остановить сервис и уведомить админа письмом.
И еще. У Monit есть собственный http-сервер. Злоупотреблять им не стоит, так как работает он с рутовыми привилегиями, но иметь доступ к веб-консоли может быть крайне полезным. Вебсервер будет рассмотрен отдельно, в этой же статье.

Установка и настройка

Монит есть практически во всех широко распространенных дистрибутивах. В Debian, CentOS и Suse он так и называется. Во FreeBSD лежит в PORTS/sysmgmt/monit. Ставится он стандартным для операционной системы способом, и я не буду на этом подробно останавливаться.
Результатом установки будет собственно демон (monit) и файл конфигурации, который живет тут:

# Linux, Solaris:
 /etc/monit/monitrc
# FreeBSD/OpenBSD/NetBSD
 /usr/local/etc/monitrc

Конфиг очень подробно документирован, его рекомендуется почитать. Там есть подробные примеры и вообще много чего интересного. В принципе большую часть дефолтных настроек можно не трогать, ограничившись только необходимыми изменениями:

# процесс работает как демон, цикл проверки - 120 секунд.
# длительность цикла можно менять, это основная единица времени для monit.
# Раз в цикл срабатывают проверки и выполняются команды от админа, присланные через веб-интерфейс
set daemon 120
# сервера, через которые пойдет почтовое уведомление. Можно делать несколько, очередность срабатывания повторяет очередность внесения
set mailserver mail.zooclub.ru 10025,
    localhost
# кто получит уведомление?
set alert sysadmin@zooclub.ru

Информацию о том, что monit должен проверять, можно хранить и в отдельном файле (файлах), которые подключаются в основной конфиг командой include:

# один файл
include /etc/devel/monitcheck.monitconf
# все файлы с расширением из папки.
include /etc/stable/monit/*

Мне кажется, что удобнее хранить проверку каждого сервиса в отдельном файле — это облегчает отладку и упрощает администрирование.
Мониторим состояние сервера в целом:

  check system ws1.zooclub.ru
    if loadavg (1min) > 4 then alert
    if loadavg (5min) > 2 then alert
    if memory usage > 75% then alert
    if cpu usage (user) > 90% then alert
    if cpu usage (system) > 40% then alert
    if cpu usage (wait) > 20% then alert

Файловые системы:

# /etc/stable/monit/filesystem.conf

# проверяем устройство по точке монтирования.
#  Можно проверять диски напрямую (/dev/hda), но с LVM и прочими логическими "дисками" этот фокус не прокатит,
#  их проверять можно только по точке монтирования и никак иначе.
check device homefs with path /home
        start program  = "/bin/mount /home"
        stop program  = "/bin/umount /home"
        if failed permission 755 then alert
        if failed uid root then alert
#  Если места остается меньше 20% минимум пять проверок за последние 15 - бить в набат и больше ничего не делать.
# При любой своей активности monit будет предупреждать админа письмом.
        if space usage > 80% for 5 times within 15 cycles then alert
#  Место кончилось, отмонтировать файлсистему
        if space usage > 99% then stop
# аналогично про i-nodes.
        if inode usage > 80% then alert
        if inode usage > 99% then stop
        group server

check device rootfs with path /
        start program  = "/bin/mount /"
# Потерять / во время работы сервера - безрадостная перспектива. По этому если дело плохо - просто перемонтируем его в read-only
        stop program  = "/bin/mount -o remount,ro /"
        if failed permission 755 then unmonitor
        if failed uid root then unmonitor
        if space usage > 80% for 5 times within 15 cycles then alert
        if space usage > 99% then stop
        if inode usage > 80% then alert
        if inode usage > 99% then stop
        group server

check device bootfs with path /boot
         start program  = "/bin/mount /boot"
        stop program  = "/bin/mount -o remount,ro /boot"
#  эта конструкция "отключит" тестирование файлсистемы, если права на папку - не 755
        if failed permission 755 then unmonitor
        if failed uid root then unmonitor
        if space usage > 80% for 5 times within 15 cycles then alert
        if space usage > 99% then stop
        if inode usage > 80% then alert
        if inode usage > 99% then stop
        group server

Теперь проверим работу веб-сервера apache:

# /etc/stable/monit/apache.conf
# проверка файла (размер, права доступа и тп):
check file apache_bin with path /usr/local/apache/bin/httpd
        if failed checksum and
# sum - это стандартный md5-хэш. Его можно получить, натравив программу md5sum на нужный файл
                expect the sum 8f7f419955cefa0b33a2ba316cba3659 then unmonitor
        if failed permission 755 then unmonitor
        if failed uid root then unmonitor
        if failed gid root then unmonitor
# отдельное письмо на отдельный адрес и с отдельным содержимым.
        alert security@zooclub.ru on {
                checksum, permission, uid, gid, unmonitor
                } with the mail-format { subject: Alarm! }
        group server

# проверка процесса осуществляется по pid-файлу. Путь к pid-файлу всегда абсолютный
check process apache with pidfile /var/run/apache2.pid
        start program = "/etc/init.d/apache2 start"
        stop program  = "/etc/init.d/apache2 stop"
        if cpu > 60% for 2 cycles then alert
# если вебсервер сожрал 80% процессрного времени и не отдает его пять циклов проверки подряд - рестартуем его
         if cpu > 80% for 5 cycles then restart
# аналогично по суммарной памяти, которую он поглотил.
        if totalmem > 500.0 MB for 5 cycles then restart
        if children > 250 then restart
# если load average сервера за 5 минут больше 10 8 циклов подряд - вырубаем.
        if loadavg(5min) greater than 10 for 8 cycles then stop
# вот тут самое интересное - многоэтапная проверка:
# первый шаг - подключение на 80 порт, протокол http
        if failed host 127.0.0.1 port 80 protocol http
# если получилось - запрашиваем файл /index.html
                and request "/index.html"
                with timeout 15 seconds
# а если что-то из цепочки не получилось - рестартуем демон
                then restart
# проверка HTTP-SSL. Монит отдельно рассматривает SSL, и отдельно - защищаемый протокол.
# Для того, чтобы иметь возможность проводить такие проверки, нужно собрать monit с поддержкой SSL.
# Любители FreeBSD - будьте внимательны при сборке!
# По умолчанию он долежен собратся с поддержкой SSL, но если вы ее отключили - будет ошибка
        if failed port 443 type tcpssl protocol http
                and request "/test.html"
                with timeout 15 seconds
                then restart
# если за последние пять циклов проверки было три рестарта или больше - пропускаем один цикл проверки.
        if 3 restarts within 5 cycles then timeout
# проверку имеет смысл проводить только, если пройдена первая проверка (которая права доступа и проч).
# В противном случае все тесты безсмысленны.
        depends on apache_bin
        group server

OpenSSHD:

check process sshd with pidfile /var/run/sshd.pid
        start program "/etc/init.d/ssh start"
        stop program "/etc/init.d/ssh stop"
        if failed port 22 protocol ssh then restart
        if 5 restarts within 5 cycles then timeout
        group server

OpenVPN. Проверяем только наличие процесса:

check process openvpn with pidfile /var/run/openvpn.link1.pid
   group system
   start program = "/etc/init.d/openvpn start"
   stop  program = "/etc/init.d/openvpn stop"
   if 5 restarts within 5 cycles then timeout

PostgreSQL. Проверяем доступность через TCP-порт и сокет

check process postgres with pidfile /var/run/postgresql/main.pid
        group database
        start program = "/etc/init.d/postgresql start"
        stop  program = "/etc/init.d/postgresql stop"
        if failed unixsocket /var/run/postgresql/.s.PGSQL.5432 protocol pgsql then restart
        if failed host 127.0.0.1 port 5432 protocol pgsql then restart
        if 5 restarts within 5 cycles then timeout
	group database

Исчерпывающий список протоколов и вариантов проверки можно почерпнуть в документации. Правда, она на англ языке.
Веб-морда
Как я уже писал во вступлении, у monit есть небольшая, но довольно полезная вебморда.
Пример настройки:

# включить веб-интерфейс на определенный порт
set httpd port 10001 and
# включить SSL
        ssl enable
# где взять pem-файл. Нужен для ssl, подробно ниже
        pemfile /etc/monit/monit.pem
# на каком адресе (интерфейсе) слушать.
# если адрес не указать - слушать будет на всех
        use address 10.10.10.21
# разрешить доступ только с определенных адресов
# строго рекомендуется!
        allow 10.10.10.22/32
        allow 10.10.12.0/24
# разрешить доступ только знающим пароль.
# пароль, к сожалению, хранится в открытом виде
        allow senegami:aoLouch0aingahce
        allow logan:Jefae2Othaitae1S

Теперь о pem-файле. Веб-сервер monit довольно примитивный, и ему нужно иметь ssl сертификат, ключ от него и DH-файл в одном объекте. Собственно, он и называется pem-файлом. Готовится следующим образом. Сначала создадим шаблон для сертификата:

 ----- BEGIN:monit.cnf -----
#  create RSA certs - Server

RANDFILE = ./openssl.rnd

[ req ]
default_bits = 1024
encrypt_key = yes
distinguished_name = req_dn
x509_extensions = cert_type

[ req_dn ]
countryName = Country Name (2 letter code)
countryName_default = RU

stateOrProvinceName = State or Province Name (full name)
stateOrProvinceName_default = NorthWest

localityName= Locality Name (eg, city)
localityName_default= Saint Petersburg

organizationName= Organization Name (eg, company)
organizationName_default= AnyOne LLC

organizationalUnitName= Organizational Unit Name (eg, section)
organizationalUnitName_default= Net

commonName= Common Name (FQDN of your server)
commonName_default= ws1.zooclub.ru

emailAddress= Email Address
emailAddress_default= security@zooclub.ru

[ cert_type ]
nsCertType = server
----- END:monit.cnf -----

Разумеется, нужно поменять значения под необходимые конкретно вам
Затем соберем из шаблона сертификат:

openssl req -new -x509 -days 720 -nodes \
-config ./monit.cnf -out /etc/monit/monit.pem \
-keyout /var/certs/monit.pem

# Генерируем число Диффи-Хеллмана и прячем его в тот же файл
openssl gendh 512 >> /etc/monit/monit.pem

# проверяем читаемость сертификата
openssl x509 -subject -dates -fingerprint -noout -in /etc/monit/monit.pem

# Поскольку в файле лежит серкретный ключ сертификата - уменьшим права доступа
chmod 400 /etc/monit/monit.pem

После чего перезапускаем монит и любуемся

• Узкие места общего характера
• Узкие места, связанные с диском (дисковой памятью)
• Узкие места, связанные с процессором и оперативной памятью
• Узкие места, связанные с сетью

№ 1: top – команда выдачи данных об активности процессов

Программа top динамически выдает в режиме реального времени информации о работающей системе, т.е. о фактической активности процессов. По умолчанию она выдает задачи, наиболее загружающие процессор сервера, и обновляет список каждые пять секунд.

Рис.1: Linux команда – top

Наиболее часто используемые горячие клавиши

При работе команды top можно воспользоваться следующими полезными горячими клавишами:

Горячая клавиша – Использование

t – Включение и выключение выдачи на экран суммарных данных.
m – Включение и выключение выдачи на экран информации об использовании памяти.
A – Сортировка строк по максимальному потреблению различных системных ресурсов. Полезна для быстрой идентификации задач, для которых в системе не хватает ресурсов.
f – Вход в меню интерактивного конфигурирования данных, выдаваемых на экран командой top. Полезна для настройки команды top для выполнения специфической задачи.
o – Позволяет вам интерактивно задавать порядок строк, выдаваемой командой top.
r – Изменение приоритета процессов с помощью команды renice.
k – Удаление процесса с помощью команды kill.
z – Переключение между цветным / монохромным вариантом выдачи изображения.

Ссылки: Как определить загрузку процессора в Linux.

№ 2: vmstat – активность системы, информация о системе и аппаратных ресурсах

Команда vmstat выдает информационный отчет о активности процессов, памяти, свопинга, поблочного ввода/вывода, прерываний и процессора.

# vmstat 3

Пример вывода данных:

procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0      0 2540988 522188 5130400    0    0     2    32    4    2  4  1 96  0  0
 1  0      0 2540988 522188 5130400    0    0     0   720 1199  665  1  0 99  0  0
 0  0      0 2540956 522188 5130400    0    0     0     0 1151 1569  4  1 95  0  0
 0  0      0 2540956 522188 5130500    0    0     0     6 1117  439  1  0 99  0  0
 0  0      0 2540940 522188 5130512    0    0     0   536 1189  932  1  0 98  0  0
 0  0      0 2538444 522188 5130588    0    0     0     0 1187 1417  4  1 96  0  0
 0  0      0 2490060 522188 5130640    0    0     0    18 1253 1123  5  1 94  0  0

Выдача статистики использования памяти

# vmstat -m

Получение данных об активности / неактивности страниц памяти

# vmstat -a

Ссылки: Как выявить узкие места в Линукс-системе, исследуя использование ресурсов?

№ 3: w – определяем, кто зарегистрирован и что они делают

Команда w выдает информацию о том, какие пользователи сейчас находятся в системе и какие процессы запущены от их имени.

# w username
# w vivek

Пример вывода данных:

 17:58:47 up 5 days, 20:28,  2 users,  load average: 0.36, 0.26, 0.24
USER     TTY      FROM              LOGIN@   IDLE   JCPU   PCPU WHAT
root     pts/0    10.1.3.145       14:55    5.00s  0.04s  0.02s vim /etc/resolv.conf
root     pts/1    10.1.3.145       17:43    0.00s  0.03s  0.00s w

№ 4: uptime – сообщает, как долго работает система

Команду uptime можно использовать с тем, чтобы определить, как долго работает сервер. Выдаются: текущее время, сколько времени работает система, сколько в текущий момент зарегистрировано пользователей и какова средняя нагрузка на систему в последние 1, 5 и 15 минут.

# uptime

Выдаются данные:

 18:02:41 up 41 days, 23:42,  1 user,  load average: 0.00, 0.00, 0.00

1 можно рассматриваться как оптимальное значение нагрузки. Нагрузка может меняться от системы к системе. Для системы с одним процессором приемлемым может считаться значение от 1 до 3, для мультипроцессорных систем – от 6 до 10.

№ 5: ps – список процессов

Команда ps выдаст краткий список текущих процессов. Для того, чтобы выбрать все процессы, используете параметр -A или –e:

# ps -A

Пример вывода данных:

  PID TTY          TIME CMD
    1 ?        00:00:02 init
    2 ?        00:00:02 migration/0
    3 ?        00:00:01 ksoftirqd/0
    4 ?        00:00:00 watchdog/0
    5 ?        00:00:00 migration/1
    6 ?        00:00:15 ksoftirqd/1
....
.....
 4881 ?        00:53:28 java
 4885 tty1     00:00:00 mingetty
 4886 tty2     00:00:00 mingetty
 4887 tty3     00:00:00 mingetty
 4888 tty4     00:00:00 mingetty
 4891 tty5     00:00:00 mingetty
 4892 tty6     00:00:00 mingetty
 4893 ttyS1    00:00:00 agetty
12853 ?        00:00:00 cifsoplockd
12854 ?        00:00:00 cifsdnotifyd
14231 ?        00:10:34 lighttpd
14232 ?        00:00:00 php-cgi
54981 pts/0    00:00:00 vim
55465 ?        00:00:00 php-cgi
55546 ?        00:00:00 bind9-snmp-stat
55704 pts/1    00:00:00 ps

Команда ps подобна команде top, но выдает больше информации.

Показать больше данных

# ps -Al

Для того, чтобы включить режим максимальной выдачи данных (будут показаны аргументы командной строки, переданные в процесс):

# ps -AlF

Показать потоки (LWP и NLWP)

# ps -AlFH

Показать потоки после процессов

# ps -AlLm

Выдать список всех процессов на сервере

# ps ax
# ps axu

Выдать дерево процессов

# ps -ejH
# ps axjf
# pstree

Выдать информацию о параметрах безопасности

# ps -eo euser,ruser,suser,fuser,f,comm,label
# ps axZ
# ps -eM

Показать каждый процесс для пользователя Vivek

# ps -U vivek -u vivek u

Настроить выдачу данных в формате, определенном пользователем

# ps -eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm
# ps axo stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm
# ps -eopid,tt,user,fname,tmout,f,wchan

Показывать ID процессов, запущенных под Lighttpd

# ps -C lighttpd -o pid=

или

# pgrep lighttpd

или

# pgrep -u vivek php-cgi

Показать имя для PID 55977

# ps -p 55977 -o comm=

Выдать 10 процессов, потребляющих наибольшее количество памяти

# ps -auxf | sort -nr -k 4 | head -10

Выдать 10 процессов, потребляющих наибольший ресурс процессора

# ps -auxf | sort -nr -k 3 | head -10

№ 6: free – использование памяти

Команда free показывает общее количество свободной и используемой системой физической памяти и памяти свопинга, а также размеры буферов, используемые ядром.

# free 

Пример вывода данных:

            total       used       free     shared    buffers     cached
Mem:      12302896    9739664    2563232          0     523124    5154740
-/+ buffers/cache:    4061800    8241096
Swap:      1052248          0    1052248

Ссылки:

• Как в Linux узнать размер страниц виртуальной памяти
• Как в Linux ограничить ресурс процессора, используемый в каждом процессе
• Сколько оперативной памяти в моем настольном компьютере, работающем под Ubuntu / Fedora Linux

№ 7: : iostat – средняя загрузка процессора, активность дисков

Команда iostat выдает статистику использования процессора, а также статистику ввода/вывода для устройств, разделов и сетевых файловых систем (NFS).

# iostat 

Пример вывода данных:

Linux 2.6.18-128.1.14.el5 (www03.nixcraft.in) 	06/26/2009

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           3.50    0.09    0.51    0.03    0.00   95.86

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda              22.04        31.88       512.03   16193351  260102868
sda1              0.00         0.00         0.00       2166        180
sda2             22.04        31.87       512.03   16189010  260102688
sda3              0.00         0.00         0.00       1615          0

Ссылки: Как в Linux получить статистику ввода/выводе для NFS-каталога или диска

№ 8: sar – сбор и выдача данных о системной активности

Команда sar используется для сбора информации о системной активности и выдачи ее в виде отчета или ее сохранения. Чтобы увидеть значение считчика сетевой активности, введите:

# sar -n DEV | more

Для того, чтобы увидеть значения счетчиков сетевой активности, начиная с 24-го:

# sar -n DEV -f /var/log/sa/sa24 | more

С помощью команды sar Вы можете также выдавать данные в режиме реального времени:

# sar 4 5

Пример вывода данных:

Linux 2.6.18-128.1.14.el5 (www03.nixcraft.in) 		06/26/2009

06:45:12 PM       CPU     %user     %nice   %system   %iowait    %steal     %idle
06:45:16 PM       all      2.00      0.00      0.22      0.00      0.00     97.78
06:45:20 PM       all      2.07      0.00      0.38      0.03      0.00     97.52
06:45:24 PM       all      0.94      0.00      0.28      0.00      0.00     98.78
06:45:28 PM       all      1.56      0.00      0.22      0.00      0.00     98.22
06:45:32 PM       all      3.53      0.00      0.25      0.03      0.00     96.19
Average:          all      2.02      0.00      0.27      0.01      0.00     97.70

Ссылки: Как собрать в файл информацию об использовании ресурсов в системе Linux

№ 9: mpstat – использование мультипроцессора

Команда mpstat выводит данные об активности каждого имеющегося в наличие процессора, процессор 0 будет первым. Команда mpstat -P ALL выводит данные о среднем использовании ресурсов для каждого из процессоров:

# mpstat -P ALL

Пример вывода данных:

Linux 2.6.18-128.1.14.el5 (www03.nixcraft.in)	 	06/26/2009

06:48:11 PM  CPU   %user   %nice    %sys %iowait    %irq   %soft  %steal   %idle    intr/s
06:48:11 PM  all    3.50    0.09    0.34    0.03    0.01    0.17    0.00   95.86   1218.04
06:48:11 PM    0    3.44    0.08    0.31    0.02    0.00    0.12    0.00   96.04   1000.31
06:48:11 PM    1    3.10    0.08    0.32    0.09    0.02    0.11    0.00   96.28     34.93
06:48:11 PM    2    4.16    0.11    0.36    0.02    0.00    0.11    0.00   95.25      0.00
06:48:11 PM    3    3.77    0.11    0.38    0.03    0.01    0.24    0.00   95.46     44.80
06:48:11 PM    4    2.96    0.07    0.29    0.04    0.02    0.10    0.00   96.52     25.91
06:48:11 PM    5    3.26    0.08    0.28    0.03    0.01    0.10    0.00   96.23     14.98
06:48:11 PM    6    4.00    0.10    0.34    0.01    0.00    0.13    0.00   95.42      3.75
06:48:11 PM    7    3.30    0.11    0.39    0.03    0.01    0.46    0.00   95.69     76.89

Ссылки: Получение данных об использовании индивидуально каждого процессора в мультипроцессорной Linux-системе.

№ 10: pmap – использование процессами оперативной памяти

Команда pmap выдает данные о распределении памяти между процессами. Использование этой команды позволит найти причину узких мест, связанных с использованием памяти.

# pmap -d PID

Для того, чтобы получить информацию об использовании памяти процессом с pid # 47394, введите:

# pmap -d 47394

Пример вывода данных:

47394:   /usr/bin/php-cgi
Address           Kbytes Mode  Offset           Device    Mapping
0000000000400000    2584 r-x-- 0000000000000000 008:00002 php-cgi
0000000000886000     140 rw--- 0000000000286000 008:00002 php-cgi
00000000008a9000      52 rw--- 00000000008a9000 000:00000   [ anon ]
0000000000aa8000      76 rw--- 00000000002a8000 008:00002 php-cgi
000000000f678000    1980 rw--- 000000000f678000 000:00000   [ anon ]
000000314a600000     112 r-x-- 0000000000000000 008:00002 ld-2.5.so
000000314a81b000       4 r---- 000000000001b000 008:00002 ld-2.5.so
000000314a81c000       4 rw--- 000000000001c000 008:00002 ld-2.5.so
000000314aa00000    1328 r-x-- 0000000000000000 008:00002 libc-2.5.so
000000314ab4c000    2048 ----- 000000000014c000 008:00002 libc-2.5.so
.....
......
..
00002af8d48fd000       4 rw--- 0000000000006000 008:00002 xsl.so
00002af8d490c000      40 r-x-- 0000000000000000 008:00002 libnss_files-2.5.so
00002af8d4916000    2044 ----- 000000000000a000 008:00002 libnss_files-2.5.so
00002af8d4b15000       4 r---- 0000000000009000 008:00002 libnss_files-2.5.so
00002af8d4b16000       4 rw--- 000000000000a000 008:00002 libnss_files-2.5.so
00002af8d4b17000  768000 rw-s- 0000000000000000 000:00009 zero (deleted)
00007fffc95fe000      84 rw--- 00007ffffffea000 000:00000   [ stack ]
ffffffffff600000    8192 ----- 0000000000000000 000:00000   [ anon ]
mapped: 933712K    writeable/private: 4304K    shared: 768000K

Последняя строка очень важна:

• mapped: 933712K общее количество памяти, отведенного под файлы
• writeable/private: 4304K общее количество приватного адресного пространства
• shared: 768000K общее количество адресного пространства, которое данный процесс использует совместно другими процессами.

Ссылки: Использование команды pmap для определения распределения памяти по программам / процессам в Linux

№ 11 и № 12: netstat и ss – сетевая статистика

Команда netstat выдает информацию о сетевых соединениях, таблицах маршрутизации, статистике по интерфейсам, маскарадинге соединений и многоадресных рассылках. Команда ss используется для выдачи в дамп статистики о сокетах. Она позволяет выдавать информацию, аналогичную выдаваемой командой netstat. Подробное описание команд ss и netstat смотрите по следующим ссылкам:

• ss: Выдача информации о сокетах и сетевых соединениях TCP / UDP
• Получение подробной информации о подключениях к конкретным IP адресам с помощью команды netstat

№13: iptraf – сетевая статистика в режиме реального времени

Команда iptraf запускает цветной интерактивный монитор, следящий за сетевыми IP. Этот монитор сетевых IP базируется на команде ncurses, которая выдает различную сетевую статистику, в том числе информацию о TCP, ведет подсчет UDP, выдает сведения о ICMP и OSPF, информацию о нагрузке на Ethernet, статистику по узлам сети, данные об ошибках контрольных сумм пакетов IP и многое другое. Монитор предоставляет в удобном для чтения виде следующие данные:

• Статистику сетевого трафика по TCP подключениям
• Статистику IP трафика по сетевым интерфейсам
• Статистику сетевого трафика по протоколам
• Статистику сетевого трафика по портам TCP/UDP и по размерам пакетов
• Статистику сетевого трафика по адресам протоколов второго уровня

Рис.02; Общая статистика по интерфейсам: статистика трафика IP по сетевым интерфейсам

Рис.03: Статистика сетевого трафика по TCP подключениям

№14: tcpdump – детальный анализ сетевого трафика

Команда tcpdump – простая команда, выдающая дамп сетевого трафика. Однако, вам нужно хорошо понимать протоколы TCP/IP для того, чтобы использовать это средство. Например, для того, чтобы показать информацию о трафике DNS, введите следующее:

# tcpdump -i eth1 'udp port 53'

Для того, чтобы показать все IPv4 HTTP пакеты, идущие на порт и с порта 80, т.е. выдать только те пакеты, которые содержат данные, и, например, не учитывать пакеты SYN и FIN и пакеты ACK-only, введите следующее:

# tcpdump 'tcp port 80 and (((ip[2:2] - ((ip[0]&0xf)<2)) - ((tcp[12]&0xf0)>>2)) != 0)'

Для того, чтобы показать все сессии FTP для адреса 202.54.1.5, введите следующее:

# tcpdump -i eth1 'dst 202.54.1.5 and (port 21 or 20'

Для того, чтобы показать все сессии HTTP для адреса 192.168.1.5, введите следующее:

# tcpdump -ni eth0 'dst 192.168.1.5 and tcp and port http'

Введите следующую команду и используйте для просмотра подробностей программу анализа wireshark:

# tcpdump -n -i eth1 -s 0 -w output.txt src or dst port 80

№ 15: strace – системные вызовы

Трассировка системных вызовов и сигналов. Это средство полезно для отладки веб сервера и решения других серверных проблем. О том, как использовать это средство и для чего нужна трассировка процессов, смотрите по ссылке strace.

№ 16: Директорий /Proc – различная статистика ядра

В директории /proc имеется подробная информация о различных устройствах и ядре Linux. Подробности смотрите в документации Linux kernel /proc. Самые общие примеры:

# cat /proc/cpuinfo
# cat /proc/meminfo
# cat /proc/zoneinfo
# cat /proc/mounts

№ 17: Nagios – мониторинг сервера и сети

Nagios – популярное open source приложение, предназначенное для мониторинга компьютерных систем и сетей. Вы можете легко следить за всеми своими хостами, сетевым оборудованием и сервисами. Приложение может посылать предупреждающее сообщение, когда что-то идет не так, как надо, а затем – еще одно, когда ситуация исправляется. Имеется приложение FAN – “Fully Automated Nagios” (“Полностью автоматизированный Nagios”). Назначение FAN – обеспечить установку Nagios, в том числе и инструментария, предоставляемого сообществом Nagios. FAN распространяется в виде CD образа в стандартном формате ISO, что упрощает установку сервера Nagios. Вдобавок на дистрибутиве имеется масса инструментальных средств, повышающих практическую отдачу от использования Nagios.

№ 18: Cacti – инструментальное веб приложение, используемое для мониторинга

Пакет Cacti является полностью сетевым графическим решением, созданным для добавления графической оболочки к мощному средству хранения данных RRDTool. В пакете Cacti уже “из коробки” имеются средства быстрой регистрации, графические шаблоны с расширенными возможностями, множество методов для сбора данных и пользовательские функции управления. Все это помещено в интуитивно понятный и удобный для использования интерфейс, что имеет смысл при установке в локальных сетях вплоть до сложных сетей с сотнями устройств. Пакет предоставляет данные о сети, процессоре, памяти, зарегистрированных пользователях, серверах Apache, DNS и многое другое. По следующей ссылке смотрите описание, как под CentOS / RHEL установить и сконфигурировать сетевое графическое средство Cacti.

№ 19: KDE System Guard – графический монитор, выдающий сведения о системе в режиме реального времени

KSysguard – сетевое приложение для KDE, осуществляющее мониторинг системы и задач. Это средство может работать в ssh сессии. В нем имеется масса возможностей, например, такие, как клиент/серверные технологии, что позволяет осуществлять мониторинг локальных и удаленных хостов. В графической оболочке используются так называемые сенсоры, которые собирают информацию, выдаваемую приложением. Сенсор может возвращать либо простое значение, либо более сложно сформированные данные, например, таблицы. Для каждого вида данных предлагается один или несколько вариантов выдачи данных. Изображаемые данные сгруппированы в виде отдельных листов, которые можно сохранять и загружать независимо друг от друга. Таким образом, KSysguard не только менеджер простых задач, но также и мощное средство для управления большим серверным хозяйством.

Рис.05: KDE System Guard (рисунок взят из Википедии)

Подробности использования смотрите по следующей ссылке: Руководство по KSysguard.

№ 20: Gnome System Monitor – графическое средство выдачи информации о системе в режиме реального времени

Приложение System Monitor позволит вам получить базовую информацию о системе, а также следить за системными процессами, использованием системных ресурсов и системными файлами. Вы также можете использовать System Monitor для изменения характеристик своей системы. Хотя это не такое мощное приложение, как System Guard для KDE, оно предоставляет основную информацию, которая может быть полезной для пользователей – новичков:

• Отображается различная основная информация об аппаратном и программном обеспечении компьютера
• Версия ядра Linux
• Версия GNOME
• Аппаратные средства
• Установленная оперативная память
• Процессоры и их скорость
• Статус системы
• Имеющееся в наличии дисковое пространство
• Процессы
• Память и пространство своппинга
• Использование сети
• Файловые системы
• Список всех смонтированных файловых систем вместе с основной информацией о каждой из них

Рис.6: Приложение Gnome System Monitor

Бонус: Дополнительные инструментальные средства

И еще несколько инструментальных средств:

• nmap – сканирует ваш сервер на предмет открытых портов..
• lsof – перечисляет открытые файлы, сетевые соединения и еще многое.
• ntop – инструментальное веб средство ntop является наилучшим средством, следящим за использованием сети, причем это делается точно так, как с помощью команды top просматриваются процессы, т.е. это программное обеспечение мониторинга сетевого трафика. Вы можете следить за состоянием сети и распределением трафика по различным протоколам, таким как UDP, TCP, DNS, HTTP и другим.
• Conky – Еще одно хорошее средство мониторинга, предназначенное для использования в X Window. Оно хорошо конфигурируемое и позволяет следить за многими системными переменными, в том числе состоянием процессора, памяти, пространства свопинга, дисковыми носителями, температурой, процессами, сетевыми интерфейсами, зарядом батареи, системными сообщениями, поступающими письмами и т.д.
• GKrellM – Может использоваться для мониторинга состояния процессоров, оперативной памяти, жестких дисков, сетевыми интерфейсами, локальными и удаленными почтовыми ящиками и многими другими вещами.
• vnstat – vnStat является консольным монитором сетевого трафика. Она позволяет для выбранных интерфейсов вести журнал сетевого трафика в течение часов, дней и месяцев.
• htop – улучшенная версия интерактивного просмотрщика процессов top. htop позволяет просматривать процессы в виде дерева процессов.
• mtr – mtr объединяет в одной сетевой инструментальной программе функциональность программ traceroute и ping.

Не упустил ли я чего-либо? Пожалуйста, добавьте в комментариях свои любимые средства мониторинга системы.

Комментарии

Приведены выборочно только те, в которых сообщается об инструментальных программах, не указанных в основном списке – прим.пер.

№ 3, Chris: … для систем с небольшим количеством машин я рекомендую использовать Munin. Его легко устанавливать и конфигурировать. Мое любимое средство мониторинга linux кластера – Ganglia.

№ 4, Ftaurino: Еще один полезный инструмент – dstat , который выдает столько же данных, как вместе взятые vmstat, iostat, ifstat и netstat, и даже больше…

№ 10, Amr El-Sharnoby: Я убедился, что самое лучшее средство для отслеживания узких мест, связанных с процессами, процессором, памятью и жесткими дисками, причем все в одном, – это atop… Но само средство может вызвать массу проблем на сильно загруженных серверах, поскольку учет процессов идет непрерывно и сервис работает постоянно…

Для того, чтобы в системах RHEL, CentOS использовать это средство эффективно, выполните следующее:
1 – подключите rpmforge repo,
2 – установите atop с помощью # yum
3 – уничтожьте процесс с помощью # killall atop,
4 – отключите atop с помощью # chkconfig,
5 – удалите rf /tmp/atop.d/ и /var/log/atop/,
6 – после это не запускайте его с помощью команды “atop”, вместо этого используйте команду #ATOPACCT=”atop”.

Этот инструмент сэкономил мне сотни часов времени, помог найти узкие места и решить связанные с ними проблемы …

№ 14, Cristiano: … хотелось бы добавить IFTOP, это действительно простое и не требующее значительных ресурсов средство, оно очень полезно, когда Вы хотите узнать, откуда был последний доступ к серверу и куда идет трафик…

№ 21, Ponzu: vi – инструметальное средство (хорошо известный мощный текстовый редактор – прим. пер.), используемое для проверки и модификации практически любого конфигурационного файла.

№ 22, Eric Schulman: … стоит упомянуть о dtrace, которое пригодится требовательным хакерам, желающим больше узнать об операционной системе и о внутренней структуре ее программ…

№ 25, Adrian Fita: … мне бы хотелось добавить iotop, отслеживающий использование диска различными процессами, и jnettop – очень простое средство, отслеживающее разделение ширины сетевого канала между различными подключениями в системе Linux …

№ 27, Praveen K: … я бы добавил команды whoami ,who am i, finger, pinky , id …

№ 29, Mathieu Desnoyers: … еще инструмент который, как мне кажется, пропущен в этом списке, – это LTTng. Это общесистемное средство трассировки, которое поможет разобраться со сложными проблемами, возникающими в многопоточных многопроцессорных приложениях, многократно обращающихся к ядру. Проект доступен по ссылке http://www.lttng.org. Трасировщик входит в состав последних версий дистрибутивов SuSE, WindRiver, Monta Vista и STLinux. Стандартный способ его использования – установить пропатченное ядро. Оно идет вместе с анализатором трассировок LTTV, который является прекрасным средством слежения за поведением системы…

№ 33, Kburger: … если Вы обсуждаете веб сервер, то прекрасное средство следить за активностью сервера Apache – apachetop

№ 34, Ram: … Вы забыли самое важное – net-snmpd. С его помощью Вы можете собрать сырые данные. Затем с помощью snmpwalk и скриптов Вы можете сделать свой собственный веб NMS, который будет собирать обычные данные, такие как прохождение пингов, использование дискового пространства, падение сервисов…

№ 35, Kartik Mistry: …”iotop” – прекрасное средство, которое следовало бы включить в список. Я очень часто использую “vnstat” для отслеживания закачек данных …

№ 37, Feilong: … обратите внимание на очень мощное средство, называемое nmon. Я использую его в системе AIX IBM, но сейчас оно работает на всех современных системах GNU/linux…

№ 40, Ken McDonell: …Если ваша “система ” большая и / или распределенная и вопросы производительности, которыми Вы занимаетесь, сложные, вам желательно использовать Performance Co-Pilot (PCP). В нем Вы получите все данных, которые можно получить с помощью упомянутых вами инструментальных средств (и даже больше), его можно расширить добавляя новые приложения и слои сервисов, он работает по сети, пригоден для оценки кластеров и выдает как информацию в режиме реального времени, так и выполняет ретроспективный анализ. Смотрите http://www.oss.sgi.com/projects/pcp . PCP входит в состав дистрибутивов на основе Debian и в дистрибутив SUSE; вероятнее всего в ближайшем будущем он появится в дистрибутивах RH. В качестве бонуса PCP может выполнять мониторинг платформ не на базе Linux (Windows и некоторые производные от систем Unix).

№ 45. Aleksey Tsalolikhin: … я бы еще упомянул “ngrep” – сетевой (network) grep…

№ 48, Komradebob: …удивлен, что среди предложений не обнаружил следующий инструментарий: bmon – отображает / отслеживает в режиме реального времени сетевую активность / ширину пропускания канала; etherape – отличный визуальный индикатор, показывающий сетевой трафик; wireshark – tcpdump на стероидах; multitail – отслеживание в одном терминальном окне состояния многих файлов; swatch – отслеживает состояние регистрационных файлов и выдает оповещения.

№ 50, Jay: … phpsysinfo – еще один прекрасный и не требующий много ресурсов веб инструмент, осуществляющий мониторинг. Очень прост в настройке и использовании …

№ 51, Manuel Fraga: Osmius – инструментальное средство мониторинга (open source) – C++ и Java. С невероятной производительностью мониторит все, что подключается к сети …

№ 55, Balaji: … trafmon – еще одно полезное средство …

№ 56, Stefan: А для тех, кому нравятся несложные и компактные графические средства измерения, – xosview +disk -ints –bat

№ 63, Tman: Для профессионального мониторинга сетей используйте Zenoss: Zenoss Core (open source): http://www.zenoss.com/product/network-monitoring

№ 65, Eddy: Я не вижу в списке ifconfig или iwconfig

№ 66, Kestev: openNMS

Нашел в сети небольшой обзор программы The Dude от Mikrotik

Взять ее можно тут http://mikrotik.com

Далее сам обзор:

Не так давно мне подвернулась бесплатная программа The Dude отMikrotik и я серьёзно ей занялся.

Я не сказал бы, что в восторге от программы, но поскольку я потратил на неё довольно много времени и нашёл множество интересных моментов, решил написать обзор о её возможностях. Тем более что на русском языке я не нашёл такой информации.

Инсталляция программы проходит без проблем. Программа изначально сделана для Windows, хотя в документации написано, что программа может нормально устанавливаться и работать на Linux под wine.

Интерфейс программы довольно дружелюбный, имеется русификация. После первого запуска программы предлагается просканировать сеть. За пару минут вся моя сеть была как на ладони, все включенные на момент сканирования устройства были обнаружены и нанесены на карту.

По-умолчанию вновь найденные объекты раскладываются в виде таблицы. У каждого устройства также создаётся связь с сетью. Должен сказать, что программа весьма требовательна к ресурсам, по крайней мере при отрисовке карты с полутора сотнями устройств и связями мой компьютер серьёзно подвисал, a буфер сокета TCP периодически оказывался переполнен. Поэтому я оставил на карте только наиболее важные для меня узлы.

Получилась такая карта:

Для каждого устройства на карте можно назначить свои инструменты, доступные в контекстном меню. Например можно добавить вызов putty.

Во время сканирования каждое устройство обследуется на наличие типовых сервисов. Эти типовые сервисы можно дополнять своими, главное знать номер TCP-порта. Например, я добавил mysql, postgresql, squid, 1c-сервер, vnc0.

Программа периодически проверяет доступность найденных сервисов. Устройства, на карте отображаются разными цветами в зависимости от рабочего состояния:

- Красный – устройства, на которых недоступно ни одного сервиса.

- Зелёный – устройства, на которых доступны все сервисы.

- оранжевый – устройства, на которых часть сервисов не отвечает программе. Недоступные сервисы отображаются на прямоугольнике устройства.

Должен сказать, что программа даёт очень много ложных срабатываний, и оранжевый цвет ещё ни о чём не говорит.

Программа собирает статистику доступности сервисов и строит красивые графики откликов:

Кстати, если на сетевом устройстве есть SNMP сервис – можно узнавать об устройстве много ценной информации дополнительно. Например, загрузка ЦПУ, памяти, дисков, сетевого канала и прочего.

SNMP в моём случае оказался запущенным практически на всех сетевых принтерах, на серверах Windows и на точках доступа. На серверах Linux штатный SNMP ничего не показал и пришлось устанавливать дополнительного демона.

Если сетевое устройство поддерживает SNMP, это значит, что можно собирать информацию и о загрузке его сетевого интерфейса. Эту информацию Dude привязывает к связям на карте. Каждая связь тоже собирает свою статистику и может отобразить информацию в виде графика:

Программа Dude состоит из двух частей – сервера и клиента.Сервер собирает статистику и опрашивает устройства, а клиент отображает картинку. Сервер, кстати, доступен через web-интерфейс.

Я экспериментировал с простейшей установкой сервера и клиента на один компьютер, а в идеале возможно развёртывание нескольких серверов Dude для максимального охвата различных сетевых сегментов. Это может оказаться разумным, т.к. процесс сбора данных сервером Dude весьма требователен к ресурсам.

Лично у меня после программы остались двойственные ощущения, в частности меня не устраивают требования программы к ресурсам. Но в этой программе я увидел, какие возможности должна предоставлять программа для мониторинга сети.

Краткий список достоинств:

• можно пинговать IP адреса и URL ресурсы;
• бесплатная;
• количество контролируемых IP адресов – не ограничено;
• видна история, т.е. можно отмотать назад;
• есть возможность прикручивать вызов внешних программ при определённых событиях;
• очень удобно сравнивать доступность хостов.

Скачать NetMap с сайта автора.