ReLU 的复活
机器学习
2025-05-29 v1 人工智能
摘要
在深度学习架构中对复杂激活函数进行建模已演变成为一个独特的研究方向。诸如 GELU、SELU 和 SiLU 等函数提供了平滑的梯度和改进的收敛特性，使其成为当前最先进模型中的热门选择。尽管有这一趋势，经典的 ReLU 仍因其简单性、固有的稀疏性以及其他有利的拓扑特征而具有吸引力。然而，ReLU 单元容易变得不可逆地失活——这种现象被称为 dying ReLU 问题——这限制了它们的整体有效性。在这项工作中，我们引入了 ReLU 的替代梯度学习（SUGAR）作为一种新颖的、即插即用的深度架构正则化器。SUGAR 在前向传播中保留标准的 ReLU 函数，但在反向传播中用平滑的替代函数替换其导数，以避免梯度归零。我们证明，当与精心选择的替代函数配对时，SUGAR 在 VGG-16 和 ResNet-18 等卷积网络架构上显著提升了泛化性能，在有效复活死亡 ReLU 的同时提供了更稀疏的激活。此外，我们表明，即使在通常采用 GELU 的现代架构（如 Conv2NeXt 和 Swin Transformer）中，用 SUGAR 替换它们也能产生具有竞争力甚至略优的性能。这些发现挑战了高级激活函数是实现最佳性能所必需的普遍观念。相反，它们表明，传统的 ReLU，特别是在具有适当梯度处理的情况下，可以在广泛的深度学习视觉模型中作为一种强大、通用的复活经典。
引用
@article{arxiv.2505.22074,
title = {The Resurrection of the ReLU},
author = {Coşku Can Horuz and Geoffrey Kasenbacher and Saya Higuchi and Sebastian Kairat and Jendrik Stoltz and Moritz Pesl and Bernhard A. Moser and Christoph Linse and Thomas Martinetz and Sebastian Otte},
journal= {arXiv preprint arXiv:2505.22074},
year = {2025}
}