VCIS-Bench: Claude Sonnet 5.5 обошёл Gemini 3.7 Flash и Gemma 4 в пространственных головоломках

Разработчик представил VCIS-Bench — синтетический бенчмарк на сетках 7×7, где агент должен собрать ключ и открыть дверь, не задев стены. Claude Sonnet 5.5 набрал 100% во всех трёх задачах, Gemini 3.7 Flash — 0,97, открытая Gemma 4 26B A4B — 0,85.

• Claude Sonnet 5.5: 100% в проверке плана, координат и поиске ошибочного шага
• Gemini 3.7 Flash: 100% в первых двух задачах, 92% в диагностике шага
• Gemma 4 26B A4B: 96,7% в проверке координат, но лишь 76% в пошаговом анализе
• Gemini 3.7 Flash дал 0,97 при вдвое меньших затратах и задержке, чем Claude