Время начала и решения инцидента
Начало: 15 сентября 2025 г., 16:35 (МСК)
Решение: 15 сентября 2025 г., 17:00 (МСК)
Общая продолжительность: 25 минут.
Описание причин инцидента
Инцидент был вызван ошибкой конфигурации в системе управления. В файле спецификации systemd-сервиса, который отвечает за запуск Docker-контейнеров фильтрующих нод, была допущена опечатка. Из-за этой ошибки при автоматическом обновлении конфигурации на все фильтрующие ноды был доставлен некорректный файл сервиса, что привело к невозможности запуска контейнеров и, как следствие, к недоступности защищаемых ресурсов.
Последовательность шагов и их описание с указанием таймингов
16:35 (МСК): Система мониторинга зафиксировала рост ошибок 502 у клиентов. Одновременно начали поступать обращения от клиентов о недоступности их ресурсов.
16:40 (МСК): Инженеры службы поддержки подтвердили проблему, воспроизведя ошибку 502 для запросов вне белого списка.
16:45 (МСК): Была начата диагностика. Инженеры выявили, что Docker-контейнеры фильтрующих нод на серверах не запущены.
16:50 (МСК): При анализе конфигурации был обнаружен некорректный файл systemd-сервиса, доставленный в результате последнего обновления.
16:55 (МСК): Ошибка в файле спецификации systemd была исправлена.
17:00 (МСК): Исправленная конфигурация была применена, сервисы фильтрующих нод были успешно запущены. Доступность ресурсов полностью восстановлена.
Методы и описание временного и постоянного решения инцидента
Временное решение: Проблема была устранена путем внедрения постоянного решения в течение 25 минут.
Постоянное решение: Была исправлена ошибка (опечатка) в файле спецификации systemd-сервиса. После исправления конфигурация была перезагружена, и сервисы фильтрующих нод были запущены в штатном режиме.
Превентивная мера для предотвращения повторения: Для исключения подобных инцидентов в будущем будет внедрена дополнительная проверка корректности сгенерированных systemd-файлов перед их доставкой на серверы.
Работа сервиса была полностью восстановлена.
Если вы продолжаете наблюдать сложности, пожалуйста, напишите в службу поддержки.
Приносим извинения за доставленные неудобства.
В промежутке с 16:35 до 17:00 МСК наблюдалась деградация сервиса.