我们实际的词错率与我们所认为的词错率
计算与语言
2020-10-08 v1 机器学习
声音
音频与语音处理
摘要
对话语音的自然语言处理需要高质量转录文本的可用性。在本文中，我们对近期关于现代自动语音识别（ASR）系统在基准数据集上取得极低词错率（WER）的报道表示怀疑。我们概述了流行基准的若干问题，并在真实生活自发人类对话的内部数据集与 HUB'05 公共基准上比较了三种最先进的商业 ASR 系统。我们表明 WER 显著高于已报道的最佳结果。我们制定了一套指南，可能有助于创建用于鲁棒 ASR 系统训练与测试的真实生活、多领域、高质标注数据集。
引用
@article{arxiv.2010.03432,
title = {WER we are and WER we think we are},
author = {Piotr Szymański and Piotr Żelasko and Mikolaj Morzy and Adrian Szymczak and Marzena Żyła-Hoppe and Joanna Banaszczak and Lukasz Augustyniak and Jan Mizgajski and Yishay Carmiel},
journal= {arXiv preprint arXiv:2010.03432},
year = {2020}
}
备注
Accepted to EMNLP Findings