Anthropic раскрыла защиту ИИ-агента Claude Duet от вредоносных действий

Anthropic описала механизмы безопасности Claude Duet — проактивного ИИ-агента, который работает в облачном браузере и выполняет задачи за пользователя. Действия вроде отправки сообщений, платежей и удаления данных требуют подтверждения, а отдельная проверка вне модели сверяет их с намерением пользователя. Приложение доступно в research preview по вайтлисту для подписчиков Pro и Max в США.

• Пароли, cookies и токены входа хранятся вне модели и вводятся через форму в приложении Claude
• Платежи и создание аккаунтов требуют подтверждения каждый раз, даже при наличии одобрения
• Отдельный классификатор ищет чувствительные данные в исходящих сообщениях и загрузках браузера
• Внешний пентест с доступом к исходному коду и публичный bug bounty через HackerOne