DropNeuron：简化深度神经网络结构
计算机视觉与模式识别
2016-07-05 v3 机器学习
机器学习
摘要
使用多层神经网络架构的深度学习在现代机器学习系统中展现出卓越的能力。训练后的深度神经网络通常规模庞大。我们希望探讨的问题是，是否可以在训练过程中简化神经网络，以在可接受的计算时间内达到合理的性能。我们提出了一种通过正则化网络架构来优化深度神经网络的新方法。我们提出了支持在网络训练过程中丢弃神经元的简单机制的正则化器。该方法支持构建更简单的深度神经网络，其性能与简化版本兼容。作为概念验证，我们使用包括稀疏线性回归、深度自编码器和卷积神经网络在内的示例对所提方法进行了评估。评估结果展示了优异的性能。本工作的代码可在 http://www.github.com/panweihit/DropNeuron 找到。
引用
@article{arxiv.1606.07326,
title = {DropNeuron: Simplifying the Structure of Deep Neural Networks},
author = {Wei Pan and Hao Dong and Yike Guo},
journal= {arXiv preprint arXiv:1606.07326},
year = {2016}
}