Архитектура сервисов логирования
Схема потоков данных и компонентов.
В платформе «Штурвал» логи собираются Vector и хранятся в VictoriaLogs. На этой странице — компоненты и потоки данных.
Общая схема
Иллюстрация: Общая схема
Компоненты
Модуль локального сбора логов (Vector)
| Компонент | Системное имя | Назначение |
|---|---|---|
| Модуль локального сбора логов | shturval-log-collector | Сбор логов из stdout подов, Kubernetes auditing, journald |
Состав конфигурации Vector — sources, transforms, sinks. Подробнее — карточка сервиса shturval-log-collector.
Схема взаимодействия компонентов сбора
Компонент хранения логов (VictoriaLogs)
| Компонент | Описание |
|---|---|
| VictoriaLogs | Хранение логов. Для каждого кластера - отдельный экземпляр в неймспейсе кластера |
Логи хранятся в кластере управления, при этом экземпляр VictoriaLogs создаётся в неймспейсе каждого кластера в кластере управления.
Управление развёртыванием
| Компонент | Назначение |
|---|---|
| shturval-metrics-collector | Управляет развёртыванием экземпляров VictoriaLogs |
Вкладка «Логи» в интерфейсе
Условия отображения и работа с фильтрами - в разделе Как смотреть логи в платформе.
Преднастроенные ClusterVectorPipeline
Таблица пайплайнов, пример spec и рекомендации - Сбор и обработка логов (ClusterVectorPipeline).
Ротация логов
Срок хранения и лимиты диска задаются в кастомном ресурсе VLSingle (VictoriaLogs) в неймспейсе кластера. Параметры, UI-путь и пример — Как настроить ротацию логов.
Типы собираемых логов
- Аутентификация (shturval-auth);
- Backend (shturval-backend);
- Аудит;
- Системные компоненты;
- Приложения пользовательской нагрузки.