vLLM получила push-передачу KV-кэша: TTFT ускорился втрое

Инженеры AWS и Mistral добавили в vLLM push-коннектор для передачи KV-кэша между prefill- и decode-инстансами. На EC2 P5en при 8 запросах/с с промптами на 16 000 токенов время до первого токена упало с ~1744 до ~540 мс.

• TTFT снизился с ~1744 до ~540 мс при 8 запросах/с и входе 16 000 токенов
• Decode-инстанс регистрирует память заранее, пока prefill ещё считает промпт
• Передача идёт фоновым потоком nixl-push-writer, не блокируя forward-pass
• Тесты на AWS EC2 P5en с EFAv3 на 3200 Гбит/с и GPUDirect RDMA