Mobilerun достигла 100% на AndroidWorld, обойдя Google ARTEMIS
Проект Mobilerun с инструментом mobile-harness прошёл все 116 задач бенчмарка AndroidWorld от Google Research с официальным результатом 100%. Открытый ARTEMIS от Google показывает 99%+. Тесты шли на эмуляторе Pixel 6 с Android 13 и моделью gpt-6-astra.
- Mobilerun набрала 116 из 116 задач AndroidWorld — 100%
- Google ARTEMIS показывает результат 99%+ на том же бенчмарке
- Тесты: эмулятор Pixel 6, Android 13, модель gpt-6-astra, 1419 взаимодействий
- Ранее Droidrun давал 63%, затем 91,4% после смены архитектуры агента
Читать дальше
ИИ