Квантованные LLM вернули 97% точности, IBM добавила reasoning в Granite

Quantization-Aware Distillation позволяет моделям в формате Q4_0 GGUF сохранять около 97% точности BF16 при скорости и памяти 4-битного квантования. IBM выпустила открытые модели Granite 4.2 (3B, 8B, 30B) с chain-of-thought, вызовом инструментов и контекстом 512K токенов.

• QAD-модели в Q4_0 GGUF сохраняют ~97% точности BF16 без изменения кода llama.cpp
• Granite 4.2: три открытые модели на 3B, 8B и 30B, обучены на 15 трлн токенов
• Granite 8B и 30B поддерживают вызов инструментов в формате OpenAI и контекст 512K токенов
• Cloudflare выпустила Clef — модели классификации для маршрутизации в ИИ-агентах