卷积神经网络中的自然对数修正激活函数
机器学习
2019-08-27 v2 计算机视觉与模式识别
机器学习
摘要
激活函数在深度神经网络取得卓越性能中起着关键作用，而修正线性单元（ReLU）是应用最广泛的激活函数之一。已有多种新激活函数及对 ReLU 的改进被提出，但各自存在性能缺陷。本文提出一种改进激活函数，命名为自然对数修正线性单元（NLReLU）。该激活函数利用参数化自然对数变换改进 ReLU，简单定义为 NLReLU。其不仅保留 ReLU 的稀疏激活特性，还在一定程度上缓解“ReLU 死亡”与梯度消失问题，并减小偏置偏移效应及网络层间神经元数据分布的异方差性，从而加速学习过程。所提方法在十个不同深度的卷积神经网络及两个基础数据集上得到验证。实验表明，采用 NLReLU 的卷积神经网络比采用 ReLU 的精度更高，且与其它知名激活函数相当。在 MNIST 与 CIFAR-10 数据集的浅层卷积神经网络中，NLReLU 相较 ReLU 平均分类精度分别高出 0.16% 与 2.04%；在 CIFAR-10 数据集上，深层卷积神经网络采用 NLReLU 平均精度平均高出 1.35%。
引用
@article{arxiv.1908.03682,
title = {Natural-Logarithm-Rectified Activation Function in Convolutional Neural Networks},
author = {Yang Liu and Jianpeng Zhang and Chao Gao and Jinghua Qu and Lixin Ji},
journal= {arXiv preprint arXiv:1908.03682},
year = {2019}
}