WorldOracle проверяет, насколько точно world-модели предсказывают действия роботов

Исследователи из Принстона, UT Austin, Торонто, Nvidia и AgiBot представили бенчмарк WorldOracle для action-conditioned world-моделей: прогноз сравнивается с реальным выполнением тех же действий. Из семи моделей движение руки предсказывается хорошо, а положение объектов часто расходится с реальностью; на длинных последовательностях оценки падают почти вдвое.

• IRASim: 78,8 за руку против 29,1 за объект; Cosmos 3 — 89,4 и 45,4
• DreamDojo упала с 50,56 до 27,08, Cosmos 3 — с 53,99 до 26,60 на полной последовательности
• GE-Sim 2.0 лидировала на обоих горизонтах: 73,86 и 63,33
• Платформа открыта 16 октября, принимает открытые и закрытые модели