利用音素级语言-声学相似度进行语句级发音评分
音频与语音处理
2023-03-14 v2 声音
摘要
近期关于发音评分的研究探索了引入音素嵌入作为参考发音的效果，但多以隐式方式进行，即把参考音素嵌入与目标音素的实际发音相加或拼接作为音素级发音质量表征。本文提出使用语言-声学相似度显式度量非母语发音偏离其母语参考的程度以用于发音评估。具体而言，首先通过参考音素嵌入与相应声学嵌入的余弦相似度估计该偏离；接着引入音素级发音优度（GOP）预训练阶段来引导该基于相似度的学习，以更好地初始化上述两种嵌入；最后采用基于 transformer 的层次化发音评分器，将音素嵌入、声学嵌入及其相似度度量序列映射以预测最终语句级分数。在非母语数据库上的实验结果表明，所提系统显著优于将声学与音素嵌入简单相加或拼接的基线。进一步检验显示，所提方法中学习的音素嵌入能够捕捉作为参考的母语发音的语言-声学属性。
引用
@article{arxiv.2302.10444,
title = {Leveraging phone-level linguistic-acoustic similarity for utterance-level pronunciation scoring},
author = {Wei Liu and Kaiqi Fu and Xiaohai Tian and Shuju Shi and Wei Li and Zejun Ma and Tan Lee},
journal= {arXiv preprint arXiv:2302.10444},
year = {2023}
}
备注
Accepted by ICASSP 2023