Strata запускает модель на 125 млрд параметров на 12 ГБ видеопамяти

Открытый проект Strata на C++ с лицензией MIT применяет 2-битное квантование (Q2_0/IQ2_XS) к модели Qwen3.8-Flash-Next и запускает модель на 125 млрд параметров на одной потребительской видеокарте с 12 ГБ. На RTX 5070 с Ryzen 5 7600 генерация достигает 94 ток/с, чтение промпта — 2650 ток/с.

• Квантование Q2_0 даёт 94 ток/с на RTX 5070 12 ГБ, IQ2_XS — 79 ток/с
• Чтение промпта при контексте 32K достигает 2650 ток/с
• Локальный API совместим с OpenAI и Anthropic — достаточно сменить base_url
• Есть установщики для Windows и Linux, поддержка NVIDIA и AMD