Тест: детектор промпт-инъекций Rebuff поймал 44% атак и пропустил все 200 безобидных фраз

Разработчик прогнал 200 атак и 200 случайных фраз из Wikipedia через эвристический детектор Rebuff 0.1.1 с порогом 0,75. Детектор поймал 44% атак (88 из 200) и не дал ложных срабатываний на обычном тексте, но пропустил канонический пример из собственного README: он набирает 0,700 при пороге 0,75.

• Детекция атак: 88 из 200, 44,0% (доверительный интервал 37,3–50,9%)
• Ложные срабатывания на 200 случайных фразах: 0 из 200
• Канонический пример из README набирает 0,700 при пороге 0,75
• Вставка запятой и двух слов снижает оценку с 0,819 до 0,738