批归一化的最大输出网中网
计算机视觉与模式识别
2015-11-10 v1 机器学习
摘要
本文报道了一种称为最大输出网中网 (MIN) 的新颖深度架构，其能够增强模型判别性并便利感受野内的信息抽象过程。所提出的网络采用了新近发展的网中网 (Network In Network) 结构框架，该框架滑动一个通用逼近器，即带整流单元的多层感知机 (MLP)，以提取特征。我们采用最大输出MLP替代MLP，以学习多种分段线性激活函数，并缓解使用整流单元时可能出现的梯度消失问题。此外，应用批归一化通过预条件模型来降低最大输出单元的饱和，并应用 dropout 防止过拟合。最后，在所有池化层中使用平均池化来正则化最大输出MLP，以便在容忍目标位置变化的同时促进每个感受野中的信息抽象。由于平均池化保留局部块中的所有特征，所提出的MIN模型能够在训练期间强制抑制无关信息。我们的实验表明，当MIN模型应用于MNIST、CIFAR-10和CIFAR-100数据集时取得了最先进的分类性能，在SVHN数据集上取得了可比性能。
引用
@article{arxiv.1511.02583,
title = {Batch-normalized Maxout Network in Network},
author = {Jia-Ren Chang and Yong-Sheng Chen},
journal= {arXiv preprint arXiv:1511.02583},
year = {2015}
}