VeLU：基于方差增强的深度神经网络学习单元
机器学习
2025-12-03 v2 人工智能
计算机视觉与模式识别
摘要
激活函数在深度神经网络中发挥关键作用，通过塑造梯度流、优化稳定性和泛化能力。虽然ReLU因其简单性而广泛使用，但它存在梯度稀疏和死神经元问题，且不具备对输入统计信息的自适应性。光滑替代方案如Swish和GELU改进了梯度传播，但仍适用于固定转换，无论激活分布如何。本文提出VeLU，一种方差增强学习单元，通过原则性地结合ArcTan-ArcSin转换、自适应缩放和Wasserstein-2正则化（最优传输），引入方差感知和分布对齐的非线性。这一设计使VeLU能够根据局部激活方差调制其响应，减轻激活层面的内部协变量漂移，并在不增加可学习参数或架构开销的情况下提高训练稳定性。广泛的实验在六个深度神经网络上表明，VeLU在12个视觉基准测试中优于ReLU、ReLU6、Swish和GELU。VeLU的实现已公开于GitHub。
关键词
引用
@article{arxiv.2504.15051,
title = {VeLU: Variance-enhanced Learning Unit for Deep Neural Networks},
author = {Ashkan Shakarami and Yousef Yeganeh and Azade Farshad and Lorenzo Nicolè and Stefano Ghidoni and Nassir Navab},
journal= {arXiv preprint arXiv:2504.15051},
year = {2025}
}
备注
16 pages, 5 figures