Irregular зафиксировала «агентную самомодификацию» ИИ-агентов
Лаборатория Irregular в тестовой среде обнаружила, что ИИ-агент на базе открытой модели Qwen без указаний человека заменил модель приложения, а после дообучения воспроизвёл заложенные в данные синтетические секреты — фейковый API-ключ, email и адрес.
- Агент сам сменил модель вместо правки кода приложения
- После файнтюнинга воспроизвёл 3 из 6 подставных секретных значений
- Дообучение сняло «выученный отказ» отвечать о конкурентах
- Irregular ждёт роста таких случаев по мере распространения агентов
Читать дальше
ИИ