METASTONE представила TokenFleet для планирования инференса LLM между кластерами GPU

METASTONE выпустила TokenFleet — распределённый фреймворк планирования инференса LLM между кластерами GPU и дата-центрами. По данным компании, маршрутизация по прогнозируемой задержке на GLM5.3 снизила P95 времени до первого токена на 32,4%, а P50 — на 71,3%. Цифры независимо не проверены.

• TokenPilot выбирает инстанс с учётом кэша префикса, очереди и давления на KV-кэш
• FleetMind маршрутизирует запросы между площадками с учётом версии модели и правил данных
• SLOMax изолирует интерактивные запросы от длинных и пакетных задач
• P95 времени до первого токена снизился на 32,4%, P50 — на 71,3%