WERd：利用社交文本拼写变体评估方言语音识别
计算与语言
2017-09-25 v1
摘要
我们研究了针对方言语音输入的自动语音识别（ASR）系统的评估问题。在此情况下，一个主要挑战是方言的拼写通常没有标准化。从 ASR 评估的角度来看，这意味着对于预期输出没有明确的黄金标准，根据不同的人类标注者，多个可能的输出都可能被认为是正确的，这使得标准的词错误率（WER）作为评估指标不再适用。这种情况在机器翻译（MT）中很典型，因此我们借鉴了 MT 评估指标的思想，即 TERp，一种与 WER 密切相关的翻译错误率扩展。具体而言，在将假设输出与参考文本进行比较的过程中，我们利用了词和短语的拼写变体，这些变体是我们以无监督方式从 Twitter 上挖掘的。我们对埃及阿拉伯语 ASR 输出评估的实验及进一步的人工分析表明，由此产生的 WERd（即方言的 WER）指标作为 TERp 的变体，比 WER 更适合用于评估方言 ASR。
引用
@article{arxiv.1709.07484,
title = {WERd: Using Social Text Spelling Variants for Evaluating Dialectal Speech Recognition},
author = {Ahmed Ali and Preslav Nakov and Peter Bell and Steve Renals},
journal= {arXiv preprint arXiv:1709.07484},
year = {2017}
}
备注
ASRU-2017