PhantomEnvironments: обучение ИИ-агентов на вымышленных мирах

Исследователи предложили PhantomEnvironments — метод обучения LLM-агентов с подкреплением на синтетических вымышленных мирах, генерируемых правилами без участия LLM. Агенты, обученные на полностью вымышленных данных, переносят навыки поиска и рассуждений на реальные бенчмарки вроде HotpotQA, обходя затраты на разметку и загрязнение тестов.

• Миры генерируются шаблонами и правилами без LLM, стоимость среды близка к нулю
• Агенты учатся стратегии поиска, а не фактам, и переносят её на реальные задачи
• Число шагов рассуждения влияет на перенос сильнее прочих параметров среды
• Ограничения: риск переобучения под шаблоны и узкий набор действий