用于优化的哈密顿下降算法：通过随机化积分时间实现加速速率
最优化与控制
2025-09-19 v2 机器学习
机器学习
摘要
我们研究了用于优化的哈密顿流（HF-opt），该方法模拟一段积分时间的哈密顿动力学，并将速度重置为以降低目标函数；这是用于采样的哈密顿蒙特卡洛算法在优化中的对应物。对于短积分时间，HF-opt在最小化强凸和弱凸函数时具有与梯度下降相同的收敛速率。我们证明，通过随机化HF-opt中的积分时间，所得的随机化哈密顿流（RHF）在连续时间下实现了加速收敛速率，类似于加速梯度流的速率。我们研究了RHF的一种离散时间实现，即随机化哈密顿梯度下降（RHGD）算法。我们证明，RHGD在最小化光滑强凸和弱凸函数时，达到了与Nesterov加速梯度下降（AGD）相同的加速收敛速率。我们提供了数值实验，证明RHGD在所有设置下均能与AGD等经典加速方法相媲美，并在某些情况下优于它们。
引用
@article{arxiv.2505.12553,
title = {Hamiltonian Descent Algorithms for Optimization: Accelerated Rates via Randomized Integration Time},
author = {Qiang Fu and Andre Wibisono},
journal= {arXiv preprint arXiv:2505.12553},
year = {2025}
}