生长余弦单元：一种可加速卷积神经网络训练并减少参数的新型振荡激活函数
机器学习
2025-04-15 v3 计算机视觉与模式识别
神经与进化计算
摘要
卷积神经网络在解决许多具有社会重要性与经济意义的问题上已取得成功。这种分层学习复杂高维函数的能力可归因于非线性激活函数的使用。使深度网络训练可行的一项关键发现是采用修正线性单元（ReLU）激活函数以缓解饱和激活函数引起的梯度消失问题。此后，许多改进的 ReLU 变体被提出。然而，由于生物合理性，当今使用的多数激活函数为非振荡且单调递增。本文证明振荡激活函数可改善梯度流并缩减网络规模。给出了关于非振荡激活函数极限的两个定理。提出了一种称为生长余弦单元（GCU）的新振荡激活函数，定义为 ，其在多种架构与基准上优于 Sigmoids、Swish、Mish 与 ReLU。GCU 激活具有多个零点，使单个 GCU 神经元在决策边界中可拥有多个超平面。这使得单个 GCU 神经元无需特征工程即可学习 XOR 函数。实验结果表明，将卷积层中的激活函数替换为 GCU 激活函数在 CIFAR-10、CIFAR-100 与 Imagenette 上显著提升性能。
引用
@article{arxiv.2108.12943,
title = {Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks},
author = {Mathew Mithra Noel and Arunkumar L and Advait Trivedi and Praneet Dutta},
journal= {arXiv preprint arXiv:2108.12943},
year = {2025}
}
备注
20 Pages