IBM и Kaggle запустили постоянный лидерборд ScarfBench для ИИ-миграций Java

IBM и Kaggle открыли постоянно обновляемый публичный лидерборд бенчмарка ScarfBench, оценивающего кодинг-агентов на миграции корпоративных Java-приложений между Jakarta EE, Quarkus и Spring. На 204 задачах лидирует Gemini 4 Argon с харнессом Antigravity (75,2% по smoke-метрике), следом Claude Opus 5.5 с Claude Code (70,5%).

• 204 задачи миграции и 10 конфигураций модель/харнесс в оценке
• Gemini 4 Argon + Antigravity — 75,2% smoke, Claude Opus 5.5 + Claude Code — 70,5%
• По строгой метрике всех тестов лидирует Claude Opus 5.5 с 72,1%
• 72% провалов — ошибки поведения в рантайме, а не сборки