基于 Transformer 的多方面多粒度非母语英语使用者发音评估
声音
2022-05-10 v1 机器学习
音频与语音处理
摘要
自动发音评估是一项帮助自主学习语言者的重要技术。尽管发音质量包含准确性、流利度、完整性与韵律等多个方面，以往的研究通常仅在一个粒度（例如音素级）上建模其中一个方面。在本工作中，我们探索在多个粒度上建模多方面发音评估。具体而言，我们采用多任务学习训练一个基于发音优度（Goodness Of Pronunciation）特征的 Transformer（GOPT）。实验表明，GOPT 在 speechocean762 上取得了最佳结果，其使用的公开自动语音识别（ASR）声学模型在 Librispeech 上训练。
引用
@article{arxiv.2205.03432,
title = {Transformer-Based Multi-Aspect Multi-Granularity Non-Native English Speaker Pronunciation Assessment},
author = {Yuan Gong and Ziyi Chen and Iek-Heng Chu and Peng Chang and James Glass},
journal= {arXiv preprint arXiv:2205.03432},
year = {2022}
}
备注
Accepted at ICASSP 2022. Code at https://github.com/YuanGongND/gopt Interactive Colab demo at https://colab.research.google.com/github/YuanGongND/gopt/blob/master/colab/GOPT_GPU.ipynb . ICASSP 2022