连续时间下的 Heavy-Ball 动量方法及离子化误差分析
机器学习
2025-10-23 v2
摘要
本文建立了针对离散 Heavy-Ball（HB）动量方法的连续时间近似模型，即分段连续微分方程，并对其进行显式离子化误差分析。对连续微分方程的研究一直是一种有前景的研究离散优化方法的途径。尽管动量在梯度基于的优化方法中发挥着关键作用，但由于离子化误差，原始离散动力学与连续时间近似模型之间的差距尚未得到全面而透彻的桥接。本文在更加关注离子化误差的同时，以连续时间下研究 HB 动量方法，从而为该领域提供额外的理论工具。具体而言，我们设计了一个一阶分段连续微分方程，通过添加若干校正项来显式地考虑离子化误差。结果我们提供了一个能够控制离子化误差至任意步长阶数的连续时间模型。作为应用，我们利用它发现了方向光滑性的一种新的隐式正则化，并探讨了 HB 对于对角线性网络的隐式偏差，这表明我们的结果可用于深度学习。我们的理论发现通过数值实验得到进一步的支持。
引用
@article{arxiv.2506.14806,
title = {Heavy-Ball Momentum Method in Continuous Time and Discretization Error Analysis},
author = {Bochen Lyu and Xiaojing Zhang and Fangyi Zheng and He Wang and Zheng Wang and Zhanxing Zhu},
journal= {arXiv preprint arXiv:2506.14806},
year = {2025}
}
备注
32 pages, 7 figures