NVFP4 от Nvidia ускоряет обработку промптов на Blackwell на 46%

Nvidia представила формат NVFP4 — 4-битное представление с плавающей точкой для GPU Blackwell, сжимающее веса моделей и снижающее расход VRAM. Ускорение обработки промптов достигает 46%, генерация ответов ускоряется лишь на 1%, общая пропускная способность — на 9–12%. Формат требует нативной поддержки Blackwell и оптимизированного софт-стека.

• Ускорение обработки промптов на Blackwell — в среднем 46%
• Генерация ответов ускоряется лишь на 1%, общая пропускная способность — на 9–12%
• 4-битное сжатие весов снижает расход VRAM и позволяет длиннее контекст
• Старые GPU без нативной поддержки NVFP4 не получат прироста