基于 MASK 预训练的端到端词级发音评估
计算与语言
2023-06-06 v1 音频与语音处理
摘要
发音评估是计算机辅助发音训练系统中的一大挑战，尤其在词（音素）级别。为获得词（音素）级分数，当前方法通常依赖对齐组件来获取每个词（音素）的声学特征，这将评估性能限制于对齐的准确度。因此，为解决该问题，我们提出一种简洁而有效的方法，即用于发音评估的掩码预训练（MPA）。具体而言，通过引入 mask-predict 策略，我们的 MPA 支持端到端训练，无需借助任何对齐组件，并能在预测中较大程度解决错位问题。此外，我们设计了两种评估策略，使模型能在无监督与有监督设定下进行评估。在 SpeechOcean762 数据集上的实验结果表明，MPA 无需任何显式对齐即可取得优于以往方法的性能。尽管如此，MPA 仍存在一些局限，如需要更多推理时间与参考文本，有待未来工作解决。
引用
@article{arxiv.2306.02682,
title = {End-to-End Word-Level Pronunciation Assessment with MASK Pre-training},
author = {Yukang Liang and Kaitao Song and Shaoguang Mao and Huiqiang Jiang and Luna Qiu and Yuqing Yang and Dongsheng Li and Linli Xu and Lili Qiu},
journal= {arXiv preprint arXiv:2306.02682},
year = {2023}
}
备注
Accepted by InterSpeech 2023