利用多重参数化指数线性单元改进深度神经网络
计算机视觉与模式识别
2017-01-18 v3
摘要
激活函数对深度神经网络近期的成功至关重要。本文首先提出一种新的激活函数——多重参数化指数线性单元(MPELU)，旨在推广并统一修正线性单元与指数线性单元。作为广义形式，MPELU兼具参数化修正线性单元(PReLU)和指数线性单元(ELU)的优点，从而获得更好的分类性能与收敛特性。此外，权重初始化对于训练极深网络非常重要。现有方法为使用修正线性单元的网络奠定了坚实基础，但未涉及指数线性单元。本文补充了当前理论并将其扩展到更广范围。具体而言，我们提出一种初始化方法，使得使用指数线性单元的极深网络得以训练。实验表明，所提出的初始化不仅有助于训练过程，还带来更好的泛化性能。最后，利用所提出的激活函数与初始化，我们给出了一种深度MPELU残差架构，在CIFAR-10/100数据集上取得了最先进的性能。代码见 https://github.com/Coldmooon/Code-for-MPELU。
引用
@article{arxiv.1606.00305,
title = {Improving Deep Neural Network with Multiple Parametric Exponential Linear Units},
author = {Yang Li and Chunxiao Fan and Yong Li and Qiong Wu and Yue Ming},
journal= {arXiv preprint arXiv:1606.00305},
year = {2017}
}