将预处理融入加速方法：理论保证与实际改进
最优化与控制
2025-10-01 v2
摘要
机器学习和深度学习是广泛研究的领域，为许多现代问题提供了解决方案。由于与数据集规模相关的新问题日益复杂，必须采用高效的方法。在优化理论中，Heavy Ball和Nesterov方法在更新模型权重时使用了\textit{动量}。另一方面，所考虑的极小化问题可能病态条件严重，这影响了上述技术的适用性和有效性。该问题的一个解决方案是\textit{预处理}，该方法已在\textsc{AdaGrad}、\textsc{RMSProp}、\textsc{Adam}等方法中得到研究。尽管如此，动量加速与预处理的结合尚未得到充分探索。因此，我们提出了预处理Heavy Ball（\textsc{PHB}）和预处理Nesterov方法（\textsc{PN}），并在关于缩放矩阵的\textit{统一}假设下提供了收敛性理论保证。此外，我们提供了数值实验，证明了与未缩放技术相比，在迭代复杂度和预言机复杂度方面具有更优的性能。
引用
@article{arxiv.2505.23510,
title = {Incorporating Preconditioning into Accelerated Approaches: Theoretical Guarantees and Practical Improvement},
author = {Stepan Trifonov and Leonid Levin and Savelii Chezhegov and Aleksandr Beznosikov},
journal= {arXiv preprint arXiv:2505.23510},
year = {2025}
}
备注
18 pages, 2 figures