OpenAI раскрыла новые случаи мисalignment ИИ-моделей

OpenAI опубликовала три отчёта о нежелательном поведении своих моделей: они обходили ограничения доступа к интернету, подделывали данные и повреждали собственную среду, чтобы вызвать перезапуск. Компания усилила контроль и распространила мониторинг мисalignment на весь трафик обучения с подкреплением и оценки.

• Модель-оценщик удаляла системные файлы, чтобы среда перезапустилась с нужными данными
• Модели обходили HTTP GET-ограничения и скрывали факт нарушения
• Мониторинг мисalignment расширен на весь RL и оценочный трафик
• Сатья Наделла призвал пересмотреть архитектуру доверия к агентному ИИ