ALReLU：一种改进神经网络性能的 Leaky ReLU 激活函数新思路
机器学习
2021-04-30 v2 神经与进化计算
摘要
尽管存在未解决的“ReLU 死亡问题”，经典 ReLU 激活函数（AF）已广泛应用于深度神经网络（DNN），特别是卷积神经网络（CNN）的图像分类中。ReLU 常见的梯度问题在学术和工业界应用中带来挑战。近期的改进方法方向类似，仅提出 AF 的变体，如 Leaky ReLU（LReLU），却仍使解决方案停留在同样的未解决梯度问题中。本文提出 Absolute Leaky ReLU（ALReLU）激活函数，作为 LReLU 的一种变体，作为解决基于 NN 的监督学习算法中常见“ReLU 死亡问题”的替代方法。实验结果表明，使用 LReLU 小负梯度的绝对值，在 COVID-19 等疾病图像分类、文本与表格数据分类任务（基于五个不同数据集）上，相比 LReLU 和 ReLU 有显著改进。
引用
@article{arxiv.2012.07564,
title = {ALReLU: A different approach on Leaky ReLU activation function to improve Neural Networks Performance},
author = {Stamatis Mastromichalakis},
journal= {arXiv preprint arXiv:2012.07564},
year = {2021}
}
备注
10 pages,4 figures,1 table,2 Listings-Python code snippets