无监督且与语言无关的 WER 标准化
计算与语言
2023-03-10 v1
摘要
词错误率（WER）是评估自动语音识别（ASR）系统的标准指标。然而，在存在拼写变体、缩写或由黏着产生的复合词时，WER 无法对人工感知质量提供公平评估。基于区域/地理、替代缩写、借词以及从外语到目标语言文字的码混合词音译，多种拼写变体可能是可接受的。类似地，在黏着情况下，黏着形式与拆分形式通常都是可接受的。先前工作通过手动识别的归一化对并在计算 WER 前将其应用于转录文本和假设文本来处理该问题。在本文中，我们提出一个由拼写归一化和分词归一化两个模块组成的自动 WER 归一化系统。所提系统是无监督且与语言无关的，因此可扩展。在四种语言上 35K 条话语的 ASR 实验取得了平均 13.28% 的 WER 降低。对这些自动识别的归一化对的人工判断表明，我们的 WER 归一化评估与 ASR 输出的感知质量高度一致。
引用
@article{arxiv.2303.05046,
title = {Unsupervised Language agnostic WER Standardization},
author = {Satarupa Guha and Rahul Ambavat and Ankur Gupta and Manish Gupta and Rupeshkumar Mehta},
journal= {arXiv preprint arXiv:2303.05046},
year = {2023}
}