ZTC: оценка надёжности действий ИИ по внутреннему состоянию модели без лишних токенов
Представлен метод ZTC (Zero-Token Confidence), который оценивает надёжность действий ИИ-агента, читая внутреннее состояние модели вместо вызова второго LLM-судьи. AUC 0,7289 против 0,7350 у судьи JEV, но решение принимается за 0,06 с вместо 0,59 с и без генерации дополнительных токенов.
- AUC ZTC 0,7289 против 0,7350 у LLM-судьи JEV — разница менее 1%
- Латентность 0,06 с против 0,59 с — почти в 10 раз быстрее
- Метод не генерирует токены и работает on premise без внешних сервисов
- Использует распределения вероятностей, геометрию представлений и паттерны внимания
Читать дальше
Компании