Сбой CircleCI: журнал транзакций БД заполнил диск и остановил пайплайны на 5 часов

6 октября CircleCI пережила пятичасовой сбой: журнал транзакций базы оркестрации заполнил выделенный диск, и БД перестала принимать записи. С 15:30 до 20:30 UTC запуски пайплайнов задерживались, с 15:48 до 16:38 не стартовали вовсе. Перенос логов на основной том занял 50 минут простоя, полная скорость восстановилась к 20:30 UTC.

• Сбой длился около 5 часов: с 13:30 UTC задержки, с 15:48 до 16:38 запуски не стартовали
• Причина — журнал транзакций БД заполнил выделенный том быстрее, чем архиватор успевал его очищать
• Перенос логов на основной том потребовал 50 минут простоя базы
• После восстановления пропускная способность была вдвое ниже нормы до смены настройки в 18:19 UTC