Infinigence запустила ИИ-агента по «Трём телам» с раздельным инференсом

Infinigence AI и Three-Body Universe представили на мероприятии Three-Body Day в Пекине 25 октября персонажного ИИ-агента по мотивам романов Лю Цысиня. Агент работает на платформе AgentWorks, а трёхступенчатая схема раздельного инференса P-RLD-MD сократила время до первого токена на 51,5% и стоимость токена на 37,5%.

• Агент исполняет роль администратора мини-вселенной из романов
• Трёхступенчатый инференс P-RLD-MD распределён по отдельным кластерам
• Кэш префиксов RadixCache снизил объём KV-данных между кластерами на порядок
• Время до первого токена сокращено на 51,5%, цена токена — на 37,5%