Prime Inference разделила prefill и decode по разным GPU-пулам

Prime Intellect запустила Prime Inference — открытый стек для обслуживания открытых моделей на стойках GB200 NVL72 (NVIDIA Dynamo, vLLM, Mooncake, FlashInfer). Разделение prefill и decode на отдельные пулы GPU снизило p90 межтокенную задержку почти на 40%, а передачу KV-кэша удалось ускорить с 146 до 78 мс за счёт раскладки памяти.

• До запуска платформа обрабатывала почти триллион токенов в день
• p90 межтокенная задержка снижена почти на 40%
• Передача KV-кэша ускорена с 146 до 78 мс
• Стек полностью открытый: Dynamo, vLLM, Mooncake, FlashInfer