Описание инструментов

Хранение логов

В состав решения Bercut ESB входит набор инструментов для логирования событий в системе. Вместе с метриками и трейсами логи формируют основу наблюдаемости (observability), позволяя получить полную картину состояния сервисов.

Bercut ESB интегрирован с Grafana — открытой платформой для визуализации данных и мониторинга, которая позволяет собирать информацию из различных источников и представлять её в виде интерактивных дашбордов, графиков, диаграмм и других визуальных представлений.
Вход в Grafana осуществляется по сконфигурированному заранее логину и паролю. По умолчанию открывается стартовое окно приложения с левой вертикальной панелью, где отображаются инструменты.

Источником данных для логирования в Grafana является хранилище логов Loki - система агрегации и хранения логов.

Loki индексирует только метки (labels), а не всё содержимое логов. Такой подход делает хранение логов значительно более дешевым и эффективным, особенно в больших масштабах . Сами логи хранятся в объектном хранилище, что обеспечивает масштабируемость.

Визуализация логов

Существует несколько способов просмотра логов, каждый из которых решает свои задачи:

• Grafana Dashboards: Это стандартный и наиболее удобный рабочий инструмент. В частности, используется дашборд Application Log View. Здесь администратор может оперативно просматривать логи, применяя быстрые фильтры.
• Фильтрация: Можно выбрать конкретный сервис, среду окружения, а также использовать поиск по идентификаторам потоков и трассировок - flow_id и trace_id.
• Инструмент для сложных запросов — Drilldown и Explore: Эти инструменты предназначены для углубленного исследования. Они позволяют строить сложные запросы, используя язык запросов Loki, выбирать временные диапазоны и анализировать данные более детально, чем на стандартных дашбордах.
• Просмотр логов конкретного потока: Логи, связанные с работой конкретного потока данных, также доступны в консоли редактора потоков. Консоль редактора потоков не обращается к хранилищу напрямую, а делает запрос к Grafana, получая тот же самый срез данных.

Основной способ работы с логами в Grafana — это дашборд Application Logs View. В нем отображаются данные, преобразованные в удобный для чтения и анализа формат.

Preview

Application Logs View в списке дашбордов Grafana

В структуру лога входит не только техническая информация об ошибке или событии, но и важные бизнес-атрибуты, единые для всей системы.