SenseNova: бенчмарки роботов не учитывают задержку инференса

SenseNova оценила GPT-6-Astra на 12 робототехнических бенчмарках (arXiv:2610.22471) и развернула модель на восьми физических платформах с контроллерами вроде π0.5. Главный вывод: в симуляции время останавливается на время «размышления» модели, а в реальности трёхсекундная задержка приводит к выполнению действий по устаревшим координатам. Авторы предлагают оценивать агентов по непрерывным часам мира и без демонстраций в домене.

• Модель протестировали на 12 бенчмарках и 8 физических роботах
• В симуляции время замирает, пока планировщик думает
• Задержка 3 с ведёт к действию по устаревшему состоянию сцены
• Предложены бенчмарки с непрерывным временем и без демонстраций