用于语音识别的小占用面积Highway深度神经网络
计算与语言
2017-04-27 v4 机器学习
摘要
最先进的语音识别系统通常采用神经网络声学模型。然而，与高斯混合模型相比，基于深度神经网络（DNN）的声学模型通常具有多得多的模型参数，这使得将它们部署在资源受限的平台（如移动设备）上具有挑战性。在本文中，我们研究了最近提出的highway深度神经网络（HDNN）在训练小占用面积声学模型中的应用。HDNN是一种深度门控前馈神经网络，它包含两种类型的门函数以促进信息在不同层之间的流动。我们的研究表明，在声学建模方面，HDNN比常规DNN更紧凑，即它们可以用少得多的模型参数实现相当的识别准确率。此外，HDNN比DNN更具可控性：HDNN的门函数可以使用极少量的模型参数来控制整个网络的行为。最后，我们表明HDNN比DNN更具适应性。例如，仅使用自适应数据更新门函数就能带来准确率的显著提升。我们通过使用包含约80小时训练数据的公开AMI语料库进行实验，展示了这些方面。
引用
@article{arxiv.1610.05812,
title = {Small-footprint Highway Deep Neural Networks for Speech Recognition},
author = {Liang Lu and Steve Renals},
journal= {arXiv preprint arXiv:1610.05812},
year = {2017}
}
备注
9 pages, 6 figures. Accepted to IEEE/ACM Transactions on Audio, Speech and Language Processing, 2017. arXiv admin note: text overlap with arXiv:1608.00892, arXiv:1607.01963