Dropout 提升用于手写识别的循环神经网络性能
计算机视觉与模式识别
2014-03-11 v2 机器学习
神经与进化计算
摘要
带有长短期记忆（Long Short-Term memory）单元的循环神经网络（RNNs）目前在无约束手写识别中保持着已知的最佳结果。我们表明，使用 dropout——一种近期提出的针对深度架构的正则化方法，可以大幅提升其性能。虽然先前的工作表明 dropout 在卷积网络背景下能提供更优越的性能，但它从未被应用于 RNNs。在我们的方法中，dropout 被谨慎地用于网络中，使其不影响循环连接，从而保留了 RNNs 在序列建模方面的能力。在广泛的手写数据库上进行的大量实验证实了 dropout 在深度架构上的有效性，即使网络主要由循环连接和共享连接组成。
引用
@article{arxiv.1312.4569,
title = {Dropout improves Recurrent Neural Networks for Handwriting Recognition},
author = {Vu Pham and Théodore Bluche and Christopher Kermorvant and Jérôme Louradour},
journal= {arXiv preprint arXiv:1312.4569},
year = {2014}
}