NVIDIA RTX Spark: модель на 74 млрд параметров влезает в 24 ГБ ноутбука

NVIDIA представила платформу RTX Spark на базе суперчипа Grace CPU и Blackwell GPU с до 128 ГБ унифицированной памяти LPDDR5X и производительностью до 1 петафлопса FP4. Модель Nemotron 3.5 Bolt 74B с разреженной MoE-архитектурой (9 млрд активных параметров) и 2-битной квантизацией помещается в 24 ГБ памяти. Ноутбуки RTX Spark поступят в продажу 16 октября, модель выйдет 15 октября.

• Суперчип: Grace CPU до 20 ядер, Blackwell GPU до 6144 CUDA-ядер, NVLink-C2C 900 ГБ/с
• Nemotron 3.5 Bolt 74B: 9 млрд активных параметров, 2-битная квантизация, 24 ГБ
• Модель выйдет 15 октября, ноутбуки RTX Spark — 16 октября
• PAIR вышла в общий доступ: распределяет инференс по GPU в локальной сети