面向残差层级发音评估的多粒度交互注意力框架

自动发音评估在计算机辅助发音训练系统中发挥着关键作用。由于能够同时完成多项发音任务，多维度多粒度发音评估方法正受到越来越多的关注，并优于单层建模任务。然而，现有方法仅考虑相邻粒度层级之间的单向依赖，缺乏音素、词汇和话语层级之间的双向交互，从而未能充分捕捉声学结构相关性。为此，我们提出了一种新颖的残差层级交互方法，称为HIA（Hierarchical Interactive），以实现跨粒度的双向建模。HIA的核心是交互注意力模块，它利用注意力机制实现动态的双向交互，有效地在每个粒度上捕捉语言特征，同时整合不同粒度层级之间的相关性。我们还提出了残差层级结构，以缓解在建模声学层级结构时信息遗忘的问题。此外，我们使用1维卷积层来增强每个粒度上局部语境线索的提取。大量实验表明，在speechocean762数据集上，我们的方法在现有状态最佳方法之上。