Анализ причин инцидента:
Дата и время инцидента: 03.06.2025, 18:50 - 19:55 UTC.
Причины инцидента: не отработало автомасштабирование вычислительных ресурсов, что при значительном росте нагрузки в период инцидента привело к деградации сервиса.
Хронология:
18:57 UTC: система мониторинга зафиксировала большое количество аномалий в работе сервисов и оповестила об этом дежурных инженеров, которые немедленно приступили к анализу происходящего и проверке системы на всех этапах её работы.
19:49 UTC: определили, что значительное повышение количества поступающих запросов (RPS) перегрузило выделенные ресурсы, автомасштабирование не сработало, а на балансировщике нагрузка достигла установленного лимита. Вручную увеличили количество ресурсов, что привело к стабилизации ситуации.
Решение: для предотвращения подобных инцидентов в будущем мы проводим дополнительный анализ архитектуры системы. Кроме того, уже сейчас вносим необходимые правки в системы мониторинга и масштабирования ресурсов, планируя полностью завершить эти работы в течение 2-х недель.
Работа сервиса была полностью восстановлена.
Если вы продолжаете наблюдать сложности, пожалуйста, напишите в службу поддержки.
Приносим извинения за доставленные неудобства.
Работа сервиса была восстановлена. Продолжается наблюдение за его функционированием. Мы будем держать вас в курсе решения инцидента.
Мы обнаружили причину возникших сложностей в работе сервиса и уже предпринимаем меры для их устранения. Будем держать вас в курсе решения инцидента.
Приносим извинения за доставленные неудобства.
Наблюдаются сложности в работе услуги, сервис может быть частично недоступен.
Мы будем держать вас в курсе решения инцидента.
Приносим извинения за доставленные неудобства.