Бенчмарк: открытая Muse Spark Open от Meta провалилась как кодинг-агент
Открытая модель Meta Muse Spark Open (816 млрд параметров, 42 млрд активных) набрала 0,091 и 0,0877 из 1 в агентном кодинг-тесте Forge 2.0 против 0,8523 у лучшей сборки. Попытка в Gauntlet 7.2 не получила вердикта из-за таймаута провайдера. Локальные Gemma 4, Granite 4.2, LFM2.5, Xing 4.0 и Nemotron 3.5 Bolt выступили не лучше.
- Muse Spark Open: 816 млрд параметров, 42 млрд активных, релиз 15 октября
- Forge 2.0: 0,091 и 0,0877 — 53-е и 54-е место из 64
- Gauntlet 7.2: таймаут провайдера после 13 вызовов, $0,19
- Qwen3.8-27B на MacBook набрала 0,2576 — почти втрое больше
Читать дальше
ИИ