Strata запускает 125-млрд модель на 12-ГБ видеокарте через системную RAM

Открытый проект Strata позволяет запускать модель Qwen3.8-Flash-Next на 125 млрд параметров на игровых ПК с 12 ГБ видеопамяти и 32 ГБ ОЗУ, загружая 35–55 ГБ модели в системную память. Установка в один клик для Windows и Linux, локальный сервер с OpenAI- и Anthropic-совместимыми API; на старте ПК может зависать на 1–3 минуты.

• Требования: от 12 ГБ VRAM и 32 ГБ RAM, загрузка 35–55 ГБ в память
• На RTX 5070 выдаёт 94 ток/с при Q2_0 и 53 ток/с при IQ3_S
• Версия Coder набирает 91% SWE-bench Verified от полной модели
• Первый запрос читается ~1 минута на 30 тыс. токенов контекста