DeepSeek открыла код DeepInfer — движка своего API

20 октября DeepSeek опубликовала под Apache 2.0 фреймворк инференса DeepInfer, на котором работает её публичный API. Он поддерживает только модель DeepSeek-V4.1-Flash (763 млрд параметров, контекст 1 млн токенов) и требует GPU Nvidia SM100 (B200/GB200) или NPU Huawei Ascend 950.

• DeepInfer набрал около 22 300 звёзд на GitHub к 25 октября
• Минимальный эффективный кластер — 128 GPU: 64 на prefill и 64 на decode
• Аренда такого кластера на CoreWeave стоит $880 тыс. в месяц
• Self-hosting выгоднее API только при загрузке GPU выше 76%