采用S形修正线性激活单元的深度学习
计算机视觉与模式识别
2015-12-23 v1
摘要
修正线性激活单元是当前最先进的深度卷积网络的重要组成部分。在本文中，我们提出了一种新颖的S形修正线性激活单元（SReLU），以学习凸和非凸函数，模仿心理物理学与神经科学中两条基本定律即 Webner-Fechner 定律和 Stevens 定律给出的多种函数形式。具体而言，SReLU 由三个分段线性函数组成，由四个可学习参数表示。SReLU 通过反向传播与整个深度网络的训练联合学习。在训练阶段，为了在不同层中初始化 SReLU，我们提出了一种“冻结”方法，使 SReLU 在最初几个训练周期退化为预定义的泄漏修正线性单元，然后自适应地学习良好的初始值。SReLU 可普遍用于现有深度网络，且额外参数与计算成本可忽略不计。在包括 CIFAR10、CIFAR100、MNIST 和 ImageNet 在内的多种尺度基准上，使用两种流行 CNN 架构（Network in Network 和 GoogLeNet）的实验表明，与其他激活函数相比，SReLU 取得了显著改进。
引用
@article{arxiv.1512.07030,
title = {Deep Learning with S-shaped Rectified Linear Activation Units},
author = {Xiaojie Jin and Chunyan Xu and Jiashi Feng and Yunchao Wei and Junjun Xiong and Shuicheng Yan},
journal= {arXiv preprint arXiv:1512.07030},
year = {2015}
}
备注
Accepted by AAAI-16