具有分段线性激活单元的深度学习中的归一化层的重要性
计算机视觉与模式识别
2015-11-03 v2 机器学习
神经与进化计算
摘要
具有分段线性激活的深度前馈神经网络目前在多个公开数据集上取得了最先进的结果。深度学习模型与分段线性激活函数的结合，通过使用大量专门分类相似输入样本的子系统，能够估计指数级复杂的函数。在训练过程中，这些子系统基于必须与其他子系统共享参数的事实，通过隐式正则化方案避免过拟合。利用该框架，我们做出了一个可进一步提升此类模型性能的实证观察。我们注意到，这些模型假设数据点相对于分段线性激活函数定义域具有均衡的初始分布。若该假设被打破，则分段线性激活单元可能退化为纯线性激活单元，从而导致其学习复杂函数的能力显著下降。此外，随着模型层数增加，这种不均衡的初始分布使模型病态。因此，我们提出在具有分段线性激活的深度前馈神经网络中引入批归一化单元，从而驱动这些激活单元的更均衡使用，即激活函数的每个区域都用相对较高比例的训练样本进行训练。同时，该批归一化促进了极深度学习模型的预条件化。我们表明，通过在网络中的网络模型中引入maxout和批归一化单元，所得模型在CIFAR-10、CIFAR-100、MNIST和SVHN数据集上产生的分类结果优于或与当前最先进水平相当。
引用
@article{arxiv.1508.00330,
title = {On the Importance of Normalisation Layers in Deep Learning with Piecewise Linear Activation Units},
author = {Zhibin Liao and Gustavo Carneiro},
journal= {arXiv preprint arXiv:1508.00330},
year = {2015}
}