语义距离：面向口语语言理解的 ASR 性能分析新指标
计算与语言
2021-04-07 v1
摘要
词错误率（WER）一直是用于评估自动语音识别（ASR）系统性能的主要指标。然而，WER 有时并不是下游自然语言理解（NLU）任务（如任务型对话系统中的意图识别、槽填充和语义解析）的良好指示器。这是因为 WER 只考虑字面正确性而非语义正确性，而后者对这些下游任务通常更为重要。在本研究中，我们提出一种新颖的语义距离（SemDist）度量作为 ASR 系统的替代评估指标以解决此问题。我们将 SemDist 定义为参考句与假设句在句子级嵌入空间中的距离。为了将参考句和假设句表示为句子嵌入，我们利用基于 transformer 架构的最先进预训练深度上下文语言模型 RoBERTa。我们在包括意图识别、语义解析和命名实体识别在内的多种下游任务上展示了我们所提度量的有效性。
引用
@article{arxiv.2104.02138,
title = {Semantic Distance: A New Metric for ASR Performance Analysis Towards Spoken Language Understanding},
author = {Suyoun Kim and Abhinav Arora and Duc Le and Ching-Feng Yeh and Christian Fuegen and Ozlem Kalinli and Michael L. Seltzer},
journal= {arXiv preprint arXiv:2104.02138},
year = {2021}
}
备注
submitted to Interspeech 2021