GKE Pod Snapshots ускорили загрузку моделей до 89%

Google опубликовала бенчмарки GKE Pod snapshots: загрузка 70B-модели занимает 37 секунд, 8B — 15 секунд, стартовая задержка снижается до 89%. Функция сохраняет состояние пода вместе с памятью CPU и GPU и требует запуска в GKE Sandbox на gVisor.

• Загрузка 70B-модели — 37 секунд, 8B — 15 секунд
• Снижение стартовой задержки до 89%
• Требуется GKE Sandbox на gVisor, кластер версии 1.35.3+
• Codeway сократила старт Retake с минуты до 8 секунд