EdgeRock-4B: KV-кэш на 256K контексте сокращён с 8 ГиБ до 72 МиБ

Rock Matrix с HKUST и Carnegie Mellon открыла EdgeRock-4B на базе Qwen3.5-4B: 8 слоёв полного внимания заменены скользящим окном на 1 024 токена с Rock Memory Anchors. KV-кэш на контексте 256K сократился с 8 ГиБ до 72 МиБ (−99,1%), на одном 80-ГБ Hopper модель выдаёт 12 124 токена/с при 512 потоках против 1 889 у базовой.

• KV-кэш 72 МиБ против 8 ГиБ у Qwen3.5-4B — сокращение на 99,1%
• 512 потоков на одном 80-ГБ Hopper: 12 124 токена/с, в 6,42 раза быстрее базовой
• Сохранено 96,3% результата AIME и 97,5% на MATH-500
• Веса под лицензией EdgeRock допускают коммерческое использование