使用多参考文本进行无风格ASR评估
计算与语言
2024-12-12 v1
摘要
词错误率 (WER) 作为评估指标存在诸多局限性，长期以来一直困扰语音识别领域。评估数据集受制于不同的风格、形式化程度以及转录任务固有的模糊性。在本工作中，我们通过使用多于一个以相互对立风格参数转录的参考文本，尝试缓解这些差异带来的影响。结果发现，现有的 WER 报告可能显著高估了最先进语音识别系统所犯的有意义错误数量。此外，我们发现多参考方法是一种有用的机制，用于比较风格组成不同且训练数据和目标任务风格迥异的 ASR 模型质量。
引用
@article{arxiv.2412.07937,
title = {Style-agnostic evaluation of ASR using multiple reference transcripts},
author = {Quinten McNamara and Miguel Ángel del Río Fernández and Nishchal Bhandari and Martin Ratajczak and Danny Chen and Corey Miller and Migüel Jetté},
journal= {arXiv preprint arXiv:2412.07937},
year = {2024}
}