利用概率 Maxout 单元改进深度神经网络
机器学习
2014-02-20 v2 机器学习
神经与进化计算
摘要
我们提出了最近引入的 maxout 单元的概率变体。利用 maxout 的深度神经网络的成功，部分归因于其与整流线性单元（rectified linear units）相比在 dropout 下的优异性能。然而，这也取决于这样一个事实：每个 maxout 单元对一组线性变换执行池化操作，因此对其输入的变化具有部分不变性。从这一观察出发，我们提出问题：能否在保留 maxout 单元理想特性的同时提高其不变性特性？我们认为，我们的概率 maxout（probout）单元成功实现了这种平衡。我们定量地验证了这一主张，并报告了在三个具有挑战性的图像分类基准（CIFAR-10、CIFAR-100 和 SVHN）上达到或超过当前最先进水平（state of the art）的分类性能。
引用
@article{arxiv.1312.6116,
title = {Improving Deep Neural Networks with Probabilistic Maxout Units},
author = {Jost Tobias Springenberg and Martin Riedmiller},
journal= {arXiv preprint arXiv:1312.6116},
year = {2014}
}