Nebius сократила время сбора траекторий для ИИ-агентов на 66,9%

Nebius рассказала, как оптимизация маршрутизации, исполнения в песочницах и сборки батчей сократила время сбора батча из 256 траекторий на 66,9% на нагрузке на базе Terminal-Bench. Вице-президент по ИИ-обучению Джин Джин советует измерять время до обучаемого батча, а не только токены в секунду.

• Сбор батча из 256 траекторий ускорился на 66,9% на нагрузке Terminal-Bench
• Замер не включал forward, backward и работу оптимизатора тренера
• Ключевые меры — маршрутизация к кэшу, песочницы и сборка батчей
• CPU и песочницы стоит масштабировать отдельно от GPU и с запасом