面向平坡性的随机梯度 Langevin 动力学

损失函数景观的平坡性已被广泛研究作为理解深度学习算法行为与泛化性的重要视角。鼓励此观点，我们提出了平坡感知随机梯度 Langevin 动力学（Flatness-Aware Stochastic Gradient Langevin Dynamics, fSGLD），这是一种一阶优化方法，其偏向学习动力学朝向平坡区域，同时保持 SGD 和 SGLD 的计算和内存效率。我们提供了非渐近理论分析，表明 fSGLD 在噪声尺度 $\sigma$ 与逆温度 $\beta$ 之间进行理论指定的耦合下，针对平坡性偏向的 Gibbs 分布；并给出明确的超风险保证。我们在标准优化器基准、贝叶斯图像分类、不确定性量化和跨域检测等任务上经验性地评估了 fSGLD，表现出始终如一的强性能和可靠的不确定性估计。额外实验确认了理论指定的 $\beta$-$\sigma$ 耦合相对于解耦选择的有效性。