深度模型中网络参数的最大后验自适应
机器学习
2015-08-13 v2 计算与语言
神经与进化计算
摘要
我们提出一种贝叶斯方法，用于自适应一个训练良好的上下文相关深度神经网络隐马尔可夫模型（CD-DNN-HMM）的参数，以改善自动语音识别性能。给定大量DNN参数但仅有有限数据，自适应DNN模型的有效性常会受损。我们构建了特殊设计的CD-DNN-HMM参数的最大后验（MAP）自适应，该模型带有连接到输出绑定状态（即senones）的增广线性隐藏网络，并将其与先前提出的特征空间MAP线性回归进行比较。在20,000词开放词汇华尔街日报任务上的实验证据证明了所提框架的可行性。在有监督自适应中，所提MAP自适应方法提供了超过10%的相对错误率降低，并持续优于传统的基于变换的方法。此外，我们给出了一个初步尝试，通过利用senones间的相似性来生成层次化先验，以在有限自适应数据下改善自适应效率与效果。
引用
@article{arxiv.1503.02108,
title = {Maximum a Posteriori Adaptation of Network Parameters in Deep Models},
author = {Zhen Huang and Sabato Marco Siniscalchi and I-Fan Chen and Jiadong Wu and Chin-Hui Lee},
journal= {arXiv preprint arXiv:1503.02108},
year = {2015}
}