基于第三阶梯度的高阶动量估计器：用于凸函数与光滑非凸优化
机器学习
2025-05-20 v1
摘要
动量梯度是优化高级机器学习模型的关键，因为它们不仅加快收敛速度，还促进优化器摆脱 stationary 点。虽然大多数最先进的动量技术利用较低阶梯度（如平方的一阶梯度），但对更高阶梯度的探索，特别是二次方以上的梯度，仍有限。本文引入了高阶动量的概念，即使用更高阶梯度构建动量，重点关注一阶梯度的第三次方。我们的研究为这一方法提供了理论与实证支持。理论上，我们证明将第三阶梯度纳入优化器可改善凸函数和光滑非凸问题的收敛界限。实证上，我们通过大量实验验证了这些发现，涵盖凸函数、光滑非凸和非光滑非凸优化任务。在所有情况下，高阶动量始终优于传统的低阶动量方法，展示出在各种优化问题中卓越的性能。
引用
@article{arxiv.2505.11748,
title = {HOME-3: High-Order Momentum Estimator with Third-Power Gradient for Convex and Smooth Nonconvex Optimization},
author = {Wei Zhang and Arif Hassan Zidan and Afrar Jahin and Yu Bao and Tianming Liu},
journal= {arXiv preprint arXiv:2505.11748},
year = {2025}
}