Nvidia открыла веса агентной модели Nemotron 3.5 Bolt 74B-A9B
Nvidia 13 октября анонсировала открытую агентную модель Nemotron 3.5 Bolt 74B-A9B: 74 млрд параметров, около 9 млрд активных на токен, вес в 2-битном квантовании укладывается в 24 ГБ памяти. Опубликованы веса, данные и рецепты обучения; релиз намечен на 15 октября, за день до старта продаж ноутбуков RTX Spark.
- 74 млрд параметров, около 9 млрд активных на токен (разреженный MoE)
- 2-битное квантование с обучением под сжатие даёт вес около 24 ГБ
- Поддержка llama.cpp, vLLM, Ollama, Unsloth и LM Studio
- Независимых бенчмарков нет, веса на момент публикации не подтверждены
Читать дальше
ИИ