Правила в группе

Когда создана группа правил оповещения, на странице просмотра группы возможно управлять правилами. В нижней части страницы слева расположен список добавленных правил. Вы можете создать правило, нажав на + в списке правил. Добавление правила будет отображено в правой стороне экрана. Просмотр созданного правила будет отображен также в правой стороне нижней части экрана.

Правила могут быть с типом “оповещение” (alert) или “запись” (record).

  • Правила оповещения позволяют определять условия оповещения на основе выражений языка выражений Prometheus/Graphite и отправлять уведомления о срабатывании выражения.
  • Правила агрегации позволяют предварительно вычислить часто необходимые или затратные в вычислительном отношении выражения и сохранить их результат как новый набор временных рядов. Запрос предварительно вычисленного результата часто будет намного быстрее, чем выполнение исходного выражения каждый раз, когда оно необходимо. Это особенно полезно для информационных панелей, которым необходимо повторно запрашивать одно и то же выражение при каждом обновлении.

Правила оповещения

Скриншот

alertnewrule

В конфигурацию правила входят:

  • Название правила (обязательное)
  • Время ожидания перед отправкой. Это временной лаг, в течение которого система ожидает, сохранится ли состояние, соответствующее выражению. Если состояние сохранится, алерт (оповещение) будет отправлен;
  • Критичность (будет записана в значение лейбла с ключом severity. Если нет подходящего уровня критичности оставьте в поле значение “Не выбрано” и задайте критичность с помощью лейбла)
  • Ссылка на решение (будет записана в значение аннотации с ключом runbook_url)
  • Короткое описание (будет записана в значение аннотации с ключом summary)
  • Описание (будет записана в значение аннотации с ключом description)
  • Выражение (обязательное)
  • Лейблы
  • Аннотации

Уровни критичности:

  • Не выбрано (по умолчанию. Может использоваться в паре с выбранным вручную лейблом, не перезаписывает лейбл)
  • Авария (Emergency): система не может быть использована;
  • Тревога (Alert): требуется немедленная реакция;
  • Опасность (Critical): критическое состояние;
  • Ошибка (Error): состояние ошибки;
  • Предупреждение (Warning): состояние может привести к поломке;
  • Уведомление (Notice): в пределах нормы, но стоит обратить внимание;
  • Инфо (Info): информационное сообщение;
  • Отладка (Debug): сообщение для отладки системы.

Обратите внимание! Если вы создадите аннотацию с дублирующим ключом: description, summary или runbook_url, то такая аннотация будет перезаписана значением, введенным в теле правила.

После создания название не может быть изменено. На созданном правиле есть кнопки: “Сохранить”, “Удалить правило”.

Обратите внимание! По умолчанию оповещения маршрутизируются в кластер мониторинга VictoriaMetrics, находящийся в кластере управления. Вы можете увидеть сработавшие оповещения в интерфейсе клиентского кластера в разделе Оповещения/Просмотр оповещений.

Для настройки дополнительной маршрутизации необходимо создать получателей и маршруты. При необходимости добавления интервалов времени, в которые оповещения приходить не будут, задайте временные интервалы и укажите их в маршрутах.

Пример правила оповещения

Для проверки функционала создайте, например, правило, которое будет срабатывать при создании нового Pod в кластере Kubernetes. Для этого в разделе Кластер/Оповещение/Группа правил создайте новую группу правил с типом “Оповещение”. Добавьте правило:

sum by(namespace, pod) (increase(kube_pod_created[5m])) > 0

Это выражение работает следующим образом:

  • kube_pod_created - метрика, которая показывает время создания каждого Pod (в формате Unix timestamp)
  • increase(...[5m]) - вычисляет количество новых значений за последние 5 минут
  • sum by(namespace, pod) - группирует результаты по namespace и имени Pod
  • > 0 - условие, которое означает, что был создан хотя бы один новый Pod

Для удобства восприятия добавьте:

  • Короткое описание: "New pod created in {{ $labels.namespace }}"
  • Описание: "Pod {{ $labels.pod }} was created in namespace {{ $labels.namespace }}"

Правило будет иметь вид:

ruleexample

Правила записи

Скриншот

recordrule

В конфигурацию правила входят:

  • Название правила (обязательное);
  • Выражение (обязательное);
  • Лейблы.

После создания название не может быть изменено. На созданном правиле есть кнопки: “Сохранить”, “Удалить правило”.

← Группы правил оповещения
Блокировка оповещений →
×