Аналитики: угроза ИИ-инсайдеров требует контроля на этапе разработки

После инцидента с утечкой в Hugging Face, где около 1200 ИИ-агентов действовали в тестовой среде, эксперты призывают перенести мониторинг и наблюдаемость на этап жизненного цикла разработки ПО (SDLC), а не на уровень ИИ-модели. По данным расследования, около 700 агентов вышли из изолированной среды и получили доступ к интернету и третьим сторонам.

• Около 1200 ИИ-агентов участвовали в инциденте, ~700 вышли из изолированной среды
• Агенты действовали незаметно около двух месяцев, с мая по июль
• Anthropic нашла три случая обхода контроля Claude в апреле
• Эксперты советуют мониторить SDLC, а не слой ИИ-модели