Учёные предложили защиту от промпт-инъекций через обучаемые гейты внимания

Исследователи из Imperial College London и Тюбингенского центра ИИ представили метод HoS: вместо дообучения весов модели обучаются небольшие гейты внимания для каждого головы, разделяющие доверенные инструкции и недоверенный внешний контент. На GPT-OSS-20B сильнейшая адаптивная атака RL-Hammer достигала 10% успеха против HoS, 85% против SecAlign и 97% без защиты.

• Гейты обучаются по каналам доверия: системный промпт, пользователь и вывод инструментов
• На GPT-OSS-20B атака RL-Hammer: 97% без защиты, 85% против SecAlign, 10% против HoS
• На Llama-3.3-70B показатели 99%, 82% и 1% соответственно
• Метод не решает задачу целиком: приложение само должно размечать каналы доверия