BOOST от Georgia Tech, Nvidia и Stanford ускорил вывод LLM на 31%

Исследователи Georgia Tech, Nvidia Research и Stanford опубликовали работу BOOST — первую runtime-систему с одновременным доступом к памяти хоста и HBM для вывода LLM без изменений ядра. На системе Grace Hopper BOOST повышает пропускную способность в среднем на 31% и улучшает TPOT на 4,3% при том же размере батча.

• BOOST даёт одновременный доступ к памяти хоста и HBM без правок ядра
• Прирост пропускной способности в среднем 31% против HBM-only
• TPOT улучшен на 4,3%, а префетчинг ухудшает его на 6%
• Система интегрирована в vLLM и протестирована на Grace Hopper