N-ReLU：ReLU的零均 Stochastic 扩展
机器学习
2025-11-12 v1 人工智能
摘要
激活函数是深度神经网络实现非线性表示的基本要素。然而，标准的整流线性单元(ReLU)常常因其硬零截止而导致神经元失活。为解决此问题，我们引入N-ReLU(Noise-ReLU)，一种ReLU的零均 stochastic 扩展，用高斯噪声取代负激活值，同时保持相同的预期输出。这种基于期望的 formulation 保持了Inactive区域的梯度流，并在训练期间作为退火式正则化器发挥作用。在使用多层感知机(MLP)和卷积神经网络(CNN)架构在MNIST数据集上进行实验后，结果表明N-ReLU在适中噪声水平(sigma=0.05-0.10)下，准确率相当于或略胜于ReLU、LeakyReLU、PReLU、GELU和RReLU，收敛稳定且未观察到死神经元。这些结果表明，轻量级的高斯噪声注入提供了一种简单而有效的机制，用于在不修改网络结构或引入额外参数的情况下增强优化鲁棒性。
关键词
引用
@article{arxiv.2511.07559,
title = {N-ReLU: Zero-Mean Stochastic Extension of ReLU},
author = {Md Motaleb Hossen Manik and Md Zabirul Islam and Ge Wang},
journal= {arXiv preprint arXiv:2511.07559},
year = {2025}
}