对齐ASR评估：基于语音、语义和NLI方法的智能度指标
机器学习
2025-12-12 v2
摘要
传统ASR指标如WER和CER未能充分捕捉语音可理解性，尤其是对于含口型运动障碍和语音功能障碍的语音，语义对齐比精确词匹配更为重要。ASR系统在处理此类语音时常常会出现错误，如音节重复和不准确的辅音，但人类听者仍能清晰理解。我们识别出两个关键挑战：(1) 现有指标未能充分反映可理解性；(2) 虽然LLM可用于修正ASR输出，但其在纠正含口型运动障碍语音ASR转录方面的有效性尚未得到充分探索。为此，我们提出了一种新型指标，集成了自然语言推理(NLI)分数、语义相似性和语音相似性。我们的ASR评估指标在Speech Accessibility Project数据上的人类判断相关性达到0.890，超越传统方法，强调需优先考虑可理解性而非基于错误的措施。
引用
@article{arxiv.2506.16528,
title = {Aligning ASR Evaluation with Human and LLM Judgments: Intelligibility Metrics Using Phonetic, Semantic, and NLI Approaches},
author = {Bornali Phukon and Xiuwen Zheng and Mark Hasegawa-Johnson},
journal= {arXiv preprint arXiv:2506.16528},
year = {2025}
}
备注
5 pages, 2 figures, Interspeech 2025