Тест: Nemotron 3.5 Bolt на 74 млрд параметров запустили на 16-ГБ GPU

Обозреватель XDA запустил открытую модель Nvidia Nemotron 3.5 Bolt (74 млрд параметров, 9 млрд активных) на RTX 4070 Ti Super с 16 ГБ видеопамяти через llama.cpp. Модель выдавала 22–32 токена/с при контексте 64K, а агентная задача из пяти шагов заняла 11 минут 44 секунды.

• Модель на 74 млрд параметров с 9 млрд активных уместилась в 15,7 ГБ VRAM
• Скорость генерации 22–32 токена/с, обработка промпта — 110 токенов/с
• Агентная задача из пяти шагов выполнена за 11 минут 44 секунды
• Нужна свежая сборка llama.cpp b11927 с поддержкой Bolt