DeepSeek открыла код DeepInfer, но без кэша и балансировки

DeepSeek выложила в открытый доступ движок инференса DeepInfer, стоящий за её API, но README прямо указывает, что KV-кэш, балансировка нагрузки и разделение prefill/decode в релиз не вошли. Сам DeepSeek оценивает выручку такого сервиса в $38 на GPU-час, а минимальное эффективное развёртывание требует 128 GPU.

• В релиз не вошли 4 из 5 компонентов маршрутизации и кэша из схемы DeepSeek
• Минимальное эффективное развёртывание — 64 GPU на prefill и 64 на decode
• Кэш рассчитан на 14,4 ТБ на GPU и хранение более 72 часов
• Только 6,82% кода совпадает с vLLM; ядра Huawei на 52% больше Nvidia