Whisper выдумывает текст на тишине в 9,2% расшифровок
Разработчик приложения Preterview проанализировал 2000 голосовых клипов: в 183 (9,2%) Whisper large-v3 сгенерировал несуществующие фразы вроде «Thanks for watching». Встроенный no_speech_threshold не помогает, так как уверенные галлюцинации проходят фильтр; включение Silero VAD с speech_pad_ms=400 и condition_on_previous_text=False сократило число с 183 до 4.
- 183 из 2000 клипов (9,2%) содержали выдуманный Whisper текст
- Клипы с 3+ секундами тишины в конце галлюцинировали в 23% случаев
- no_speech_threshold не спасает: 129 галлюцинаций имели avg_logprob выше -1,0
- Silero VAD и отключение condition_on_previous_text снизили число с 183 до 4
Читать дальше
Софт