无 GMM 的平启动序列判别性 DNN 训练
计算与语言
2016-10-18 v1
摘要
近来，已有尝试从基于深度神经网络的隐马尔可夫模型（HMM/DNN）的训练过程中移除高斯混合模型（GMM）。对于 HMM/DNN 混合系统的无 GMM 训练，我们必须解决两个问题，即帧级状态标签的初始对齐和上下文相关状态的创建。虽然通过迭代重新对齐和重新训练 DNN 并使用帧级误差函数的平启动训练是可行的，但相当繁琐。在此，我们提议使用序列判别性训练准则进行平启动。虽然序列判别性训练通常仅在模型训练的最后阶段应用，但我们表明，只要适当谨慎，它也适用于获得上下文无关 DNN 模型的对齐。对于绑定状态的构建，我们应用了最近提出的基于 KL 散度的状态聚类方法，因此我们的整个训练过程是无 GMM 的。在实验评估中，我们发现序列判别性平启动训练方法不仅比迭代重新训练和重新对齐的直接方法显著更快，而且获得的词错误率也略好。
引用
@article{arxiv.1610.03256,
title = {GMM-Free Flat Start Sequence-Discriminative DNN Training},
author = {Gábor Gosztolya and Tamás Grósz and László Tóth},
journal= {arXiv preprint arXiv:1610.03256},
year = {2016}
}