中文

激活函数积分特征:九维分类学与深度学习稳定性理论

机器学习 2025-10-10 v1 人工智能

摘要

激活函数支配神经网络的可表达性与稳定性,但现有比较方法仍大体上是经验性的。我们提出了一种严格的框架,用于通过九维积分特征 Sσ(ϕ)S_\sigma(\phi) 对其进行分类,结合高斯传播统计量(m1,g1,g2,m2,ηm_1, g_1, g_2, m_2, \eta)、渐近斜率(α+,α\alpha_+, \alpha_-)以及正则性度量(TV(ϕ),C(ϕ)TV(\phi'), C(\phi))。该分类学建立了良定义性、带偏置的仿射重参数化律,以及有界斜率变动下的闭合性。动力学分析给出具有显式下降常数的 Lyapunov 定理,并通过 (m2,g2)(m_2', g_2) 识别方差稳定区域。从核视角出发,我们推导出维度无关的 Hessian 界限,并将光滑性关联到 ϕ\phi' 的总变率。应用该框架,我们对八种标准激活函数(ReLU、leaky-ReLU、tanh、sigmoid、Swish、GELU、Mish、TeLU)进行分类,证明在饱和、线性增长与光滑家族之间具有尖锐区分。数值 Gauss-Hermite 和蒙特卡罗验证确认了理论预测。我们的框架提供了原则性的设计指导,使激活函数的选择从试错转向可证明的稳定性和核条件。

关键词

引用

@article{arxiv.2510.08456,
  title  = {Integral Signatures of Activation Functions: A 9-Dimensional Taxonomy and Stability Theory for Deep Learning},
  author = {Ankur Mali and Lawrence Hall and Jake Williams and Gordon Richards},
  journal= {arXiv preprint arXiv:2510.08456},
  year   = {2025}
}

备注

25 pages