通过耗散黎曼力学采样损失函数极小值
机器学习
2026-05-18 v1 机器学习
摘要
现代神经网络损失函数的极小值通常是离散的，而是形成训练数据上重参数化不变解的连通分量。解析地表征这些解仍是困难的问题，但采样方法是可行的。通过构造，现有方法要么在低损失区域分布，从而无法准确采样重参数化不变解，要么本质上是局部的，这限制了对其他极小值谷的探索。我们提出了一种基于动能、受引力和耗散能量的动力系统来采样这些重参数化不变模型。我们提出的采样器 DiMS 被证明可以准确地从极小值水平集进行采样，并依赖于由物理学启发的超参数，这允许控制采样器的探索能力。我们将不确定性量化作为贝叶斯推断的激励问题，并观察到其相对于以前方法的改进性能。
引用
@article{arxiv.2605.15459,
title = {Don't Stop Me Yet: Sampling Loss Minima via Dissipative Riemannian Mechanics},
author = {Albert Kjøller Jacobsen and Leo Uhre Jakobsen and Johanna Marie Gegenfurtner and Georgios Arvanitidis},
journal= {arXiv preprint arXiv:2605.15459},
year = {2026}
}