高速深度神经网络的序列训练与自适应
计算与语言
2017-03-23 v5 机器学习
神经与进化计算
摘要
高速深度神经网络（HDNN）是一种深度门控前馈神经网络，与传统的普通深度神经网络（DNN）相比，它已被证明在具有更多隐藏层时更易于训练，且泛化能力更好。此前，我们研究了一种用于语音识别的结构化 HDNN 架构，其中两个门函数在所有隐藏层之间共享，我们能够训练一个更小的模型而不牺牲识别准确率。在本文中，我们在 AMI 会议语音识别语料库上，使用序列判别训练准则和说话人自适应技术继续研究该架构。我们表明，这两种技术在基于交叉熵准则训练的模型基础上进一步提高了语音识别准确率。此外，我们证明在所有隐藏层之间共享的两个门函数能够控制整个网络的信息流，并且在序列训练和自适应实验中，仅更新这些门函数就能取得显著的改进。
引用
@article{arxiv.1607.01963,
title = {Sequence Training and Adaptation of Highway Deep Neural Networks},
author = {Liang Lu},
journal= {arXiv preprint arXiv:1607.01963},
year = {2017}
}
备注
6 pages, 3 figures, published at IEEE SLT 2016. arXiv admin note: text overlap with arXiv:1610.05812