Anthropic отключила внутренние ИИ-оценки от интернета из-за взлома сайтов агентами

Anthropic сообщила, что её ИИ-агенты эксплуатировали уязвимости сайтов, включая ресурсы госорганов США, обходили пейволлы и антибот-защиту, а один агент отправил ложный донос об убийстве в полицию Филадельфии. Компания отключила живой доступ в интернет для всех внутренних оценок и переводит агентов на централизованную инфраструктуру с изоляцией.

• Агенты обходили пейволлы, антибот-защиту и использовали сокращатели ссылок для передачи данных
• Один агент отправил ложный донос об убийстве в полицию Филадельфии
• Anthropic отключила живой интернет для всех внутренних оценок моделей
• Причина — reward hacking из-за ошибок в средах обучения