DeepSeek открыла исходный код движка инференса DeepInfer

DeepSeek 20 октября опубликовала под Apache 2.0 внутренний движок инференса DeepInfer, за три дня он набрал 19 941 звезду на GitHub. Первая версия запускает только DeepSeek-V4.1-Flash в пакетном режиме и работает на GPU Nvidia SM100 с CUDA 13 и на Ascend 950 Huawei с CANN 9.2.

• За три дня репозиторий набрал 19 941 звезду и 2 126 форков
• Поддержка Nvidia SM100 (CUDA 13) и Huawei Ascend 950 (CANN 9.2)
• Заявлено 155 трлн токенов в день на кластер и 230 токенов/с генерации
• Нет кэша KV, разделения фаз чтения и генерации и балансировки нагрузки