曲率率 λ:神经网络输入空间尖锐度的标量度量
机器学习
2025-11-04 v1
摘要
曲率影响泛化、鲁棒性以及神经网络对微小输入扰动的响应可靠性。现有的尖锐度度量通常定义在参数空间中(例如,Hessian 特征值),并且可能计算代价高、对重参数化敏感,且难以从函数角度解释。我们引入了一个直接定义在输入空间中的标量曲率度量:曲率率 λ,由高阶输入导数的指数增长率给出。经验上,λ 被估计为 log ||D^n f|| 相对于 n(小 n 值)的斜率。这种增长率视角统一了经典解析量:对于解析函数,λ 对应于收敛半径的倒数;对于带限信号,它反映了频谱截止。同一原理也适用于神经网络,其中 λ 追踪了决策边界中高频结构的出现。在解析函数和神经网络(Two Moons 和 MNIST)上的实验表明,λ 在训练过程中可预测地演化,并且可以通过一个简单的基于导数的正则化器——曲率率正则化(CRR)直接塑造。与尖锐度感知最小化(SAM)相比,CRR 在实现相似准确率的同时,产生了更平坦的输入空间几何形状并改善了置信度校准。通过将曲率建立在微分动力学的基础上,λ 为学习模型的函数平滑度提供了一个紧凑、可解释且参数化不变的描述符。
引用
@article{arxiv.2511.01438,
title = {The Curvature Rate {\lambda}: A Scalar Measure of Input-Space Sharpness in Neural Networks},
author = {Jacob Poschl},
journal= {arXiv preprint arXiv:2511.01438},
year = {2025}
}
备注
14 pages