Attention2Probability：面向鲁棒语音识别系统的注意力驱动术语概率估计
计算与语言
2025-08-27 v1
摘要
近期语音大语言模型(SLMs)的进展提升了一般领域的语音识别和翻译能力，但准确生成特定领域术语或新词仍具有挑战性。为此，我们提出Attention2Probability：注意力驱动的术语概率估计，用于鲁棒语音识别系统，该方法轻量、灵活且准确。Attention2Probability将语音与术语之间的交叉注意力权重转换为存在概率，并进一步采用课程学习以提升检索准确性。此外，为解决语音识别术语干预任务数据匮乏的问题，我们创建并公开了新的术语语音数据集以支持未来研究。实验结果表明，Attention2Probability 在测试集上显著优于VectorDB方法。具体而言，其最大召回率分别达到92.57%（中文）和86.83%（英文）。这种高召回率仅需每个查询延迟8.71毫秒。使用Attention2Probability检索到的术语干预SLMs的识别和翻译任务，可提升术语准确率6%-17%，揭示了SLMs当前术语利用的局限性。
引用
@article{arxiv.2508.18701,
title = {Attention2Probability: Attention-Driven Terminology Probability Estimation for Robust Speech-to-Text System},
author = {Yanfan Du and Jun Zhang and Bin Wang and Jin Qiu and Lu Huang and Yuan Ge and Xiaoqian Liu and Tong Xiao and Jingbo Zhu},
journal= {arXiv preprint arXiv:2508.18701},
year = {2025}
}
备注
9 pages, 4 figures, 5 tables