Хронология (московское время):

21 сентября 2022, 12:22 МСК cdn-agent-1.332.4-cdn3802 был развернута на одном хосте, проблем не было обнаружено.

21 сентября 2022, 12:29 МСК: cdn-agent-1.332.4-cdn3802 развернут на нескольких хостах, проблем не было обнаружено.

21 сентября 2022, 12:59 МСК: cdn-agent-1.332.4-cdn3802 развернут на первой группе серверов, проблем не было обнаружено.

21 сентября 2022, 13:05 МСК: cdn-agent-1.332.4-cdn3802 развернут на второй группе серверов, проблем не было обнаружено.

21 сентября 2022, 13:12 МСК: cdn-agent-1.332.4-cdn3802 развернут на третьей группе серверов, проблем не было обнаружено.

21 сентября 2022, 13:30 МСК: cdn-agent-1.332.4-cdn3802 развернут на стадии препрода.

21 сентября 2022, 13:40 МСК: запущен мониторинг.

21 сентября 2022, 14:22 МСК: откат всех предшествующих изменений до предыдущей версии.

Причина:

Наблюдалось падение трафика на всем стриминговом контенте в период с 13:30 до 13:43 МСК 21 сентября 2022.

Выпуск нового функционала, в рамках которого был добавлен location, запрещающий трафик потокового видео. Запрет активировался через пару ключ/значение в vhost файле конфигурации — Name: "Streaming". По ошибке, значение "Streaming" было указано через «s», что привело к отключению передачи потокового видео для всех vhost.

С технической точки зрения код работал. Ошибка заключалась в неправильной интерпретации информации о включении/отключении запрета на передачу потокового видео и отсутствии специальной панели мониторинга для этой функции.

Принятое решение:

Добавить графики для 4XX кодов ответа для тестирования функционала.

Улучшить процесс релиза, добавив дополнительные e2e-тесты в препрод.

Данный инцидент был решён, мы внимательно следим за работой сервиса. В ближайшие дни мы предоставим вам RCA. Приносим вам извинения за доставленные неудобства.

Мы наблюдаем некоторые сложности в работе услуги. Сервис может быть недоступен для пользователей. Приносим извинения за доставленные неудобства. Мы обновим данный инцидент как только у нас появятся новости.

Мы наблюдаем некоторые сложности в работе услуги. Сервис может быть недоступен для пользователей. Приносим извинения за доставленные неудобства. Мы обновим данный инцидент как только у нас появятся новости.