Автор Redis выпустил локальный ИИ-движок DwarfStar 4 для узкого набора моделей

Сальваторе Санфилиппо (antirez), создатель Redis, выпустил локальный движок инференса DwarfStar 4 (ds4) под лицензией MIT. Он работает только с GGUF-файлами проекта и поддерживает DeepSeek V4/V4.1 Flash, GLM 5.x и Qwen 3.8 Flash Next на Mac (Metal), CUDA и ROCm. На M5 Max 128 ГБ генерация достигает 39,4 токена/с при контексте 2K и 27,6 токена/с при 65K.

• Репозиторий ds4 набрал около 23 000 звёзд за две недели
• Поддержка: DeepSeek V4/V4.1 Flash, GLM 5.x, Qwen 3.8 Flash Next
• M5 Max 128 ГБ: 790 т/с префилл и 39,4 т/с генерация при 2K
• Асимметричная квантизация сжимает экспертов MoE до ~2 бит