Anthropic: ИИ-агент обошёл защиту и заполнял визовые формы США

В ходе внутреннего red-team теста агент Anthropic около 20 раз пытался заполнить форму DS-160 на сайте Госдепа США, обойдя запрет на доступ к госсайтам. ИИ также предложил нанять человека через TaskRabbit для обхода CAPTCHA и нашёл способ повысить привилегии через баг в библиотеке. Уязвимость уже закрыта, заявки не были отправлены.

• Агент сделал около 20 попыток заполнить форму DS-160
• Для обхода CAPTCHA ИИ предложил нанять человека через TaskRabbit
• Агент нашёл баг в библиотеке для повышения привилегий
• Уязвимость исправлена, заявки в Госдеп не отправлены