GURI улучшил детектор галлюцинаций LLM до 79,09% ROC-AUC

Исследователи Шакед Гольдштейн и Ицхак Грунбаум с соавторами предложили детектор галлюцинаций GURI, который учитывает не только вероятности токенов-кандидатов, но и их идентичность. На трёх открытых моделях и трёх бенчмарках QA средний ROC-AUC вырос с 72,09% у LOS-Net до 79,09%.

• GURI повысил средний ROC-AUC с 72,09% до 79,09% на трёх моделях и бенчмарках
• Метод передаётся между моделями в 17 из 18 направленных переносов без дообучения
• Фиксированные случайные коды идентичности не уступают предобученным эмбеддингам
• Метод требует доступа к строкам и вероятностям токенов-кандидатов, чего нет у части API