Modal перестроила инфраструктуру песочниц: 1 млн параллельных сред за минуту

Инженеры Modal описали отказ от Kubernetes ради масштабирования песочниц: вместо центрального планировщика и etcd они сделали воркеры источником истины, а планирование — параллельным. В бенчмарке создано 1 млн песочниц менее чем за минуту, медианное время до запуска кода — менее 0,5 секунды.

• 1 млн песочниц создан менее чем за минуту в бенчмарке
• Медианное время от старта до запуска кода — менее 0,5 секунды
• Воркеры публикуют состояние в один Redis-стрим, выдерживает свыше 100 000 воркеров
• Планирование распараллелено, воркер сам принимает или отклоняет запрос