推理时利用注意力图检测语音大模型中的幻觉
计算与语言
2026-04-22 v1 人工智能
机器学习
摘要
语音大型语言模型（SpeechLLMs）中的幻觉会带来重大风险，但现有的检测方法通常依赖于获取成本高昂或难以获得的黄金标准输出。此外，为基于文本的 LLMs 开发的幻觉检测方法无法直接捕捉音频特定信号。我们研究了四种注意力衍生指标：AUDIORATIO、AUDIOCONSISTENCY、AUDIOENTROPY 和 TEXTENTROPY，旨在捕捉与幻觉相关的病态注意力模式，并在这些特征上训练轻量级逻辑回归分类器，以实现高效的推理时检测。在自动语音识别和语音到文本翻译任务中，对 Qwen-2-Audio 和 Voxtral-3B 的评估表明，我们的方法在域内数据上优于基于不确定性和先前基于注意力的基线方法，实现了高达 +0.23 的 PR-AUC 提升，并且能够泛化到域外 ASR 设置。我们进一步发现，仅使用大约 100 个注意力头即可实现出色的性能，与使用所有头相比，提高了域外泛化能力。尽管有效性依赖于具体模型且需要特定任务训练，但我们的结果表明，注意力模式为 SpeechLLMs 中的幻觉检测提供了有价值的工具。
引用
@article{arxiv.2604.19565,
title = {Detecting Hallucinations in SpeechLLMs at Inference Time Using Attention Maps},
author = {Jonas Waldendorf and Bashar Awwad Shiekh Hasan and Evgenii Tsymbalov},
journal= {arXiv preprint arXiv:2604.19565},
year = {2026}
}
备注
Accepted to Findings of ACL 2026