Эксперты предупредили о «ползучей автономии» ИИ-агентов в компаниях

Аналитики и руководители по безопасности (RSA, 1Password, NatWest) описали, как ИИ-агенты постепенно накапливают права и полномочия сверх изначального замысла. Они советуют выносить ограничения за пределы модели, проверять доступ в реальном времени и вводить авторизацию под конкретную задачу.

• Агенты получают новые права и данные шаг за шагом и почти никогда их не возвращают
• Модельные ограничения необходимы, но недостаточны — лимиты должны быть во внешней инфраструктуре
• Периодических проверок прав мало: агентные идентичности меняются динамично
• Риск растёт, когда люди перестают реально проверять решения надёжного ИИ