基于 RNN 的 ASR 系统的多语言自适应
音频与语音处理
2018-02-28 v2 人工智能
计算与语言
摘要
在这项工作中,我们关注基于循环神经网络(RNNs)的多语言系统,其使用 Connectionist Temporal Classification (CTC) 损失函数训练。使用多语言声学单元集合会带来困难。为解决此问题,我们提出了语言特征向量(LFVs)来训练语言自适应多语言系统。与说话人自适应不同,语言自适应不仅需要应用于特征层面,还需应用于网络更深的层。因此,在本工作中我们通过引入一种称为“调制”的新技术扩展了先前的方法。基于该方法,我们使用 LFVs 调制 RNN 的隐藏层。我们在全资源与低资源条件下,以及基于字素和基于音素的系统中评估了该方法。通过使用调制,在不同条件下均能获得更低的错误率。
引用
@article{arxiv.1711.04569,
title = {Multilingual Adaptation of RNN Based ASR Systems},
author = {Markus Müller and Sebastian Stüker and Alex Waibel},
journal= {arXiv preprint arXiv:1711.04569},
year = {2018}
}
备注
5 pages, 1 figure, to appear in 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2018)