FReLU：用于改进卷积神经网络的灵活修正线性单元
计算机视觉与模式识别
2018-01-30 v2
摘要
修正线性单元（ReLU）是深度卷积神经网络广泛使用的激活函数。然而，由于零硬修正，ReLU 网络错失了负值带来的益处。在本文中，我们提出了一种名为 \emph{灵活修正线性单元（FReLU）} 的新型激活函数，以进一步探索负值的影响。通过将 ReLU 的修正点重新设计为可学习参数，FReLU 扩展了激活输出的状态。当网络成功训练后，FReLU 倾向于收敛到一个负值，从而提高了表达能力并进而提升性能。此外，FReLU 设计简单有效，没有指数函数，以保持低计算成本。为了能够轻松用于各种网络架构，FReLU 不依赖严格假设，通过自适应实现。我们在三个标准图像分类数据集上评估了 FReLU，包括 CIFAR-10、CIFAR-100 和 ImageNet。实验结果表明，所提出的方法在普通网络和残差网络上均实现了快速收敛和更高的性能。
引用
@article{arxiv.1706.08098,
title = {FReLU: Flexible Rectified Linear Units for Improving Convolutional Neural Networks},
author = {Suo Qiu and Xiangmin Xu and Bolun Cai},
journal= {arXiv preprint arXiv:1706.08098},
year = {2018}
}