迈向 Switchboard 基准的零 oracle 词错误率
音频与语音处理
2022-06-28 v2 计算与语言
声音
摘要
“Switchboard 基准”是自动语音识别（ASR）研究中非常著名的测试集，为声称达到人类水平转录准确率的系统确立了创纪录的性能。本工作突出了该评估中鲜为人知的实际考量，通过对参考转录进行修正并偏离官方评分方法，展示了词错误率（WER）的显著改善。在这一更细致且可复现的方案下，即便是商业 ASR 系统也能取得低于 5% 的 WER，而研究系统的既有纪录被降至 2.3%。我们提出了一种替代的转录精度度量，其不惩罚删除错误，且似乎更能区分人类与机器的性能。尽管商业 ASR 系统仍低于该阈值，但研究表明某研究系统已明显超越商业人类语音识别的准确率。本工作还探索使用标准化评分工具，通过从候选列表中选择最优者来计算 oracle WER。我们将短语候选表示与语句级 N-best 列表及词级数据结构进行比较；利用稠密格并加入词汇外词，实现了 0.18% 的 oracle WER。
引用
@article{arxiv.2206.06192,
title = {Toward Zero Oracle Word Error Rate on the Switchboard Benchmark},
author = {Arlo Faria and Adam Janin and Korbinian Riedhammer and Sidhi Adkoli},
journal= {arXiv preprint arXiv:2206.06192},
year = {2022}
}
备注
Submitted to Interspeech 2022