Meta выпустила Llama 4 Scout: 105 млрд параметров и контекст 1 млн токенов

Meta FAIR представила открытую модель Llama 4 Scout на архитектуре Mixture-of-Depths: 105 млрд параметров при 24 млрд активных на токен. Нативная поддержка контекста 1 млн токенов, 99,8% точности в NIAH, запуск в 4-битном режиме на 24 ГБ VRAM. Веса доступны на Hugging Face, поддержка уже в vLLM, Ollama и LM Studio.

• 105 млрд параметров, 24 млрд активных на токен
• Контекст 1 млн токенов без потери точности: 99,8% в NIAH
• Запуск в 4-битном режиме на 24 ГБ VRAM (RTX 4090/5090)
• 48,6% решённых задач в SWE-bench Verified