Gompertz 线性单元：利用不对称性增强学习动力学
机器学习
2025-05-22 v2 人工智能
计算机视觉与模式识别
摘要
激活函数是深度学习架构的基本元素，因为它们显著影响训练动力学。ReLU 虽然被广泛使用，但容易出现神经元死亡问题，而 LeakyReLU、PReLU 和 ELU 等变体通过更好地处理负神经元输出来缓解了这一问题。最近，像 GELU 和 Swish 这样的自门控激活函数已成为最先进的替代方案，利用其平滑性确保稳定的梯度流并防止神经元失活。在本工作中，我们引入了 Gompertz 线性单元（GoLU），这是一种新颖的自门控激活函数，定义为 GoLU(x) = x Gompertz(x)，其中 Gompertz(x) = e^{-e^{-x}}。GoLU 激活利用 Gompertz 函数中的右偏不对称性，与 GELU 和 Swish 相比，能更有效地减少潜在空间中的方差，同时保持稳健的梯度流。在包括图像分类、语言建模、语义分割、目标检测、实例分割和扩散模型在内的多种任务上的广泛实验，突显了 GoLU 相对于最先进激活函数的优越性能，确立了 GoLU 作为现有激活函数的一个稳健替代方案。
引用
@article{arxiv.2502.03654,
title = {Gompertz Linear Units: Leveraging Asymmetry for Enhanced Learning Dynamics},
author = {Indrashis Das and Mahmoud Safari and Steven Adriaensen and Frank Hutter},
journal= {arXiv preprint arXiv:2502.03654},
year = {2025}
}
备注
8 pages, excluding references and appendix; v2: slight improvement in presentation. Equation (4) added, with proof in Appendix A. Appendices B (Flipped Mish) and I (Machine Translation) added. Figure 9 added to Appendix C. Appendix D extended with Heatmaps 12 and 13