用语义距离度量评估用户对语音识别系统质量的感知
计算与语言
2022-07-07 v2
摘要
衡量自动语音识别（ASR）系统质量对于创建令用户满意的语音驱动应用至关重要。词错误率（WER）传统上用于评估 ASR 系统质量；然而，它有时与用户对转写质量的感知/判断相关性较差。这是因为 WER 平等对待每个词，且未考虑对用户感知影响更大的语义正确性。在本工作中，我们提出用 SemDist 评估 ASR 输出假设的质量，SemDist 可通过使用从预训练语言模型提取的参考与假设语义向量之间的距离来度量语义正确性。我们在 71K 和 36K 用户标注的 ASR 输出质量上的实验结果表明，SemDist 与用户感知的相关性高于 WER。我们还表明 SemDist 与下游自然语言理解（NLU）任务的相关性高于 WER。
引用
@article{arxiv.2110.05376,
title = {Evaluating User Perception of Speech Recognition System Quality with Semantic Distance Metric},
author = {Suyoun Kim and Duc Le and Weiyi Zheng and Tarun Singh and Abhinav Arora and Xiaoyu Zhai and Christian Fuegen and Ozlem Kalinli and Michael L. Seltzer},
journal= {arXiv preprint arXiv:2110.05376},
year = {2022}
}
备注
INTERSPEECH 2022