NVIDIA выпустила Nemotron 3.5 Bolt E4B для агентов на CPU

NVIDIA 23 октября выпустила компактную модель Nemotron 3.5 Bolt E4B на базе Gemma 4 E4B с 8 млрд параметров (около 4 млрд эффективных) и контекстом 64K. В 4-битном GGUF она запускается на 8-ядерном Xeon без GPU: около 11 токенов/с генерации и 95% корректных аргументов при вызове инструментов.

• Модель на Gemma 4 E4B дообучена NVIDIA через RL для вызова инструментов
• GGUF Q4_K_M занимает 6,18 ГБ на диске при 64K контекста
• На 8 vCPU Xeon: 194,6 токена/с префилла и 10,9 токена/с генерации
• Точность аргументов 57 из 60 при отключённом режиме размышления