微规范 Langevin 动力学能否利用小批次梯度噪声？
机器学习
2026-05-21 v2
摘要
将推断方法如马尔可夫链蒙特卡洛（MCMC）扩展到高维模型仍是贝叶斯深度学习中的核心挑战。最近提出的一种方法——微规范 Langevin 蒙特卡洛——在广泛问题上展示了最前沿的性能。然而，其依赖完整数据集的梯度使得大规模问题计算代价高昂。本文聚焦核心问题：微规范动力学能否有效利用小批次梯度噪声？我们提供了首个系统性研究，建立了针对随机梯度微规范动力学的连续时间理论分析。我们揭示了两个关键失效模式：由于各向异性梯度噪声引发的理论偏差，以及在复杂高维后验中的数值不稳定。为解决这些问题，我们提出了原则化的梯度噪声 preconditioning 方案，显著降低偏差；并开发了基于能量-方差的自适应调度器，自动化步骤大小选择并动态提供数值警戒。最终算法是鲁棒且可扩展的微规范蒙特卡洛抽样器，在诸如贝叶斯神经网络等具挑战性的高维推断任务上实现最前沿性能。结合最新集成技术，我们的工作开启了一类新型随机微规范 Langevin 集成抽样器（SMILE）用于大规模贝叶斯推断。
引用
@article{arxiv.2602.06500,
title = {Can Microcanonical Langevin Dynamics Leverage Mini-Batch Gradient Noise?},
author = {Emanuel Sommer and Kangning Diao and Jakob Robnik and Uros Seljak and David Rügamer},
journal= {arXiv preprint arXiv:2602.06500},
year = {2026}
}
备注
In Proceedings of the 43rd International Conference on Machine Learning