一种面向多方面多粒度发音评估的层次化上下文感知建模方法
音频与语音处理
2023-06-08 v4 声音
信号处理
摘要
自动发音评估（APA）在评估第二语言（L2）学习者的口语熟练度时，对计算机辅助发音训练（CAPT）起着至关重要的作用。然而，大多数现行方法的一个明显缺陷是，它们在不同语音粒度上并行化建模过程，而未考虑它们之间的层次化与局部上下文关系。有鉴于此，本文提出了一种用于多方面多粒度APA的新颖层次化方法。具体而言，我们首先引入超音素的概念，以探究L2说话者更细微的语义特征。其次，利用深度可分离卷积层更好地封装子词级别的局部上下文线索。最后，我们使用分数约束注意力池化机制来预测句子级别分数，并在多任务学习（MTL）框架下优化组件模型。在公开基准数据集speechocean762上开展的广泛实验表明，相较于一些前沿基线方法，我们的方法具有有效性。
引用
@article{arxiv.2305.18146,
title = {A Hierarchical Context-aware Modeling Approach for Multi-aspect and Multi-granular Pronunciation Assessment},
author = {Fu-An Chao and Tien-Hong Lo and Tzu-I Wu and Yao-Ting Sung and Berlin Chen},
journal= {arXiv preprint arXiv:2305.18146},
year = {2023}
}
备注
Accepted to Interspeech 2023