卷积网络中修正激活函数的实证评估
机器学习
2015-11-30 v2 计算机视觉与模式识别
机器学习
摘要
本文研究了卷积神经网络中不同类型修正激活函数的性能：标准修正线性单元（ReLU）、带泄漏修正线性单元（Leaky ReLU）、参数化修正线性单元（PReLU）以及一种新的随机带泄漏修正线性单元（RReLU）。我们在标准图像分类任务上评估这些激活函数。我们的实验表明，在修正激活单元中为负部分引入非零斜率能一致地改善结果。因此，我们的发现否定了“稀疏性是ReLU良好性能关键”的普遍看法。此外，在小规模数据集上，使用确定性的负斜率或学习该斜率都易于过拟合。它们不如使用其随机对应物有效。通过使用RReLU，我们在CIFAR-100测试集上取得了75.68\%的准确率，无需多次测试或集成。
引用
@article{arxiv.1505.00853,
title = {Empirical Evaluation of Rectified Activations in Convolutional Network},
author = {Bing Xu and Naiyan Wang and Tianqi Chen and Mu Li},
journal= {arXiv preprint arXiv:1505.00853},
year = {2015}
}