利用普通话迁移学习实现粤语自动语音识别
计算与语言
2019-11-22 v1
摘要
我们提出一种系统，通过从高资源语言普通话向低资源语言粤语进行迁移学习，来开发基础的粤语自动语音识别器（ASR）。我们采用在普通话上训练的时间延迟神经网络，并将若干层的权重迁移到一个新初始化的粤语模型中。我们实验了迁移层数、其学习率以及预训练 i-vectors。关键发现是，该方法能以更少的数据实现更快的训练时间。我们发现，对于每个 epoch，迁移学习模型的 log-probability 均小于仅粤语模型。迁移学习模型在 CER 上显示出轻微改进。
引用
@article{arxiv.1911.09271,
title = {Cantonese Automatic Speech Recognition Using Transfer Learning from Mandarin},
author = {Bryan Li and Xinyue Wang and Homayoon Beigi},
journal= {arXiv preprint arXiv:1911.09271},
year = {2019}
}
备注
v1, to be presented as poster at Natural Language, Dialog and Speech Symposium 2019