IGLU：集成高斯线性单元激活函数
机器学习
2026-03-10 v1 计算机视觉与模式识别
摘要
激活函数是深度神经网络的基本要素，决定了梯度流、优化稳定性和表示容量。在历史深层架构中，ReLU 长期以来是激活函数的首选选择，但现代基于变换器的模型正越来越多地采用更光滑的替代方案，如 GELU 和其他自门控替代方案。尽管已取得实证成功，但这些函数之间的数学关系以及其有效性背后的原理仍只有部分被理解。我们提出 IGLU，这是一种参数化激活函数，推导为在半正态混合分布下对 GELU 门的比例混合。这一推导产生一个闭合表达式，其门控成分恰好是 Cauchy 分布的累积分布函数（CDF），提供一种以单个锋利度参数 为主导的原则性单参数家族，连续地在类似恒等和类似 ReLU 的行为之间进行插值。与 GELU 的高斯门相比，IGLU 的重尾 Cauchy 门在负尾部多项式衰减，保证所有有限输入都有非零梯度，能够更好地抵御梯度消失。我们进一步提出 IGLU-Approx，这是一种以 ReLU 操作为主的 IGLU 的计算高效有理近似，消除超验函数的评估。通过在 CIFAR-10、CIFAR-100 和 WikiText-103 上进行评估，使用 ResNet-20、ViT-Tiny 和 GPT-2 Small，IGLU 在视觉和语言数据集上均实现了与 ReLU 和 GELU 基线的具竞争力或更好性能，其中 IGLU-Approx 在显著降低计算成本的同时恢复了这些性能。特别是，我们表明采用重尾门在高度不平衡分类数据集上可获得显著的性能提升。
引用
@article{arxiv.2603.06861,
title = {IGLU: The Integrated Gaussian Linear Unit Activation Function},
author = {Mingi Kang and Zai Yang and Jeova Farias Sales Rocha Neto},
journal= {arXiv preprint arXiv:2603.06861},
year = {2026}
}