用于学习深度多维循环神经网络的Hessian-free优化
机器学习
2015-10-26 v2 神经与进化计算
机器学习
摘要
多维循环神经网络（MDRNNs）在语音与手写识别领域已展现出卓越性能。通过进一步增加深度可提升MDRNN的性能，而训练更深网络的困难则通过使用Hessian-free（HF）优化得以克服。鉴于连接时序分类（CTC）被用作MDRNN序列标注学习的优化目标，CTC的非凸性在将HF应用于该网络时带来了问题。作为解决方案，我们构建了CTC的凸近似，并讨论了其与EM算法及Fisher信息矩阵的关系。利用HF成功训练了深度达15层的MDRNN，从而提升了序列标注性能。
引用
@article{arxiv.1509.03475,
title = {Hessian-free Optimization for Learning Deep Multidimensional Recurrent Neural Networks},
author = {Minhyung Cho and Chandra Shekhar Dhir and Jaehyung Lee},
journal= {arXiv preprint arXiv:1509.03475},
year = {2015}
}
备注
to appear at NIPS 2015