ModelBest открыла MiniCPM-V 4.7 — первую MoE-мультимодальную модель, работающую на телефоне в 3 ГБ

ModelBest выпустила MiniCPM-V 4.7 в версиях 35B-A3B и 1B под лицензией Apache-2.0. Флагманская 35B-A3B — первая MoE-модель серии: активирует около 3 млрд параметров на токен, работает на iPhone 17 Pro Max при ~3 ГБ памяти и скорости более 13 токенов/с благодаря технике LES. Заявлены результаты MMBench 91,72, OCRBench 91,2 и CMMLU 90,21.

• 35B-A3B активирует ~3 млрд параметров на токен и требует ~3 ГБ памяти
• Скорость декодирования на iPhone 17 Pro Max — более 13 токенов/с
• Бенчмарки: MMBench 91,72, OCRBench 91,2, CMMLU 90,21
• Поддержка iOS, Android, HarmonyOS и чипов Intel, AMD, Arm, Rockchip, Houmo AI