Сбой CloudWatch остановил сервис доставки из-за блокирующего режима логов Docker

В феврале сервис выбора слотов доставки на четырёх хостах EC2 перестал отвечать на 50 минут: деградация CloudWatch Logs замедлила запись логов, а блокирующий режим драйвера awslogs остановил все потоки запросов на записи в stdout. Компания перевела хосты на неблокирующий режим с буфером 8 МБ и планирует перенос в кластер с записью логов в локальные файлы.

• Сбой длился 50 минут, все четыре хоста вышли из строя по health check
• Блокирующий режим awslogs останавливает запись в stdout при переполнении буфера 64 КБ
• Хосты перевели на неблокирующий режим с буфером 8 МБ
• Health check больше не пишет логи, а в staging раз в полгода блокируют маршрут к CloudWatch