Calm-Whisper：通过平抑疯狂头部来降低Whisper非语音幻觉
计算与语言
2025-05-20 v1
摘要
OpenAI的Whisper在自动语音识别方面取得了显著的成功，但持续发现其在非语音段落上表现出幻觉问题，这限制了其在复杂工业场景中的更广泛应用。在本文中，我们提出了一种不使用任何预处理或后处理技术来降低Whisper非语音幻觉的新方法。具体而言，我们通过对每个自注意力头的贡献进行逐头掩码评估，基准测试了Whisper-large-v3解码器中每个自注意力头对幻觉问题的贡献。我们的发现表明，仅有3个头就足以导致超过75%的非语音幻觉。随后，我们使用一组非语音数据对这三个疯狂头部进行微调。结果表明，我们的最佳微调模型，即Calm-Whisper，在LibriSpeech test-clean和test-other上非语音幻觉减少了80%以上，同时仅引入了不到0.1%的词错误率(WER) degradation。
引用
@article{arxiv.2505.12969,
title = {Calm-Whisper: Reduce Whisper Hallucination On Non-Speech By Calming Crazy Heads Down},
author = {Yingzhi Wang and Anas Alhmoud and Saad Alsahly and Muhammad Alqurishi and Mirco Ravanelli},
journal= {arXiv preprint arXiv:2505.12969},
year = {2025}
}
备注
Accepted to Interspeech 2025