判别式分段模型的端到端训练方法
计算与语言
2016-10-24 v1 机器学习
机器学习
摘要
近期关于判别式分段模型的工作表明，使用基于深度神经帧分类器的特征，它们可以实现具有竞争力的语音识别性能。然而，分段模型的训练比标准的基于帧的方法更具挑战性。虽然一些分段模型已经成功实现了端到端训练，但对于它们在不同设置和不同损失函数下的训练仍缺乏理解。我们研究了一类基于近期成功方法的模型，由一个结合了基于 LSTM 帧分类器的分段特征的线性模型组成。与混合 HMM-神经网络模型类似，该类分段模型可以分两阶段训练（帧分类器训练后接线性分段模型权重训练）、端到端训练（同时训练帧分类器和线性权重），或在两阶段训练后进行端到端微调。我们研究了使用合页损失、对数损失、隐合页损失和边际对数损失进行端到端训练的分段模型。我们考虑了训练对齐可用和不可用情况下的多种损失函数。我们发现，总体而言，边际对数损失无需真实对齐即可提供最一致且强劲的性能。我们还发现，使用 dropout 训练对于在端到端训练中获得良好性能非常重要。最后，最佳结果通常通过两阶段训练与微调的结合来获得。
引用
@article{arxiv.1610.06700,
title = {End-to-End Training Approaches for Discriminative Segmental Models},
author = {Hao Tang and Weiran Wang and Kevin Gimpel and Karen Livescu},
journal= {arXiv preprint arXiv:1610.06700},
year = {2016}
}