120B-модель Nemotron-3.5-Super запустили на GPU с 8 ГБ

Разработчик запустил 120B MoE-модель Nvidia Nemotron-3.5-Super на одной RTX 5060 с 8 ГБ памяти: эксперты (59 ГиБ) стримятся с NVMe, скорость выросла с 6,1 до 8,2 токена/с. Модель работает в Open WebUI, читает изображения и совпадает с эталонной реализацией Hugging Face.

• Модель на 120B в NVFP4 занимает 75 ГБ, но на GPU остаётся 6,6 ГиБ неэкспертных весов
• Пропуск нулей после ReLU² дал +12%: 6,6 → 7,3–7,6 токена/с
• Кэш экспертов в RAM на 20 ГБ поднял скорость до 8,2 токена/с
• Vision-башня C-RADIO на 1,3 ГБ обрабатывает изображение за 0,4–1,6 с