无需强凸先验或重启的自适应加速
最优化与控制
2025-10-28 v3
摘要
优化中的一个长期挑战是在强凸参数m未知时实现最优性能。在本文中，我们提出了NAG-free，这是Nesterov加速梯度（NAG）的一个简单扩展，它是第一个能够直接估计m而无需先验或重启的方法。我们的估计器成本低廉：它不需要额外的函数或梯度评估，仅需要存储一个NAG已经计算的额外迭代点和梯度。我们证明，通过回溯估计平滑参数L，NAG-free全局收敛速度至少与梯度下降一样快。我们还证明，给定L的上界，在Hessian局部平滑和一些温和附加假设下，NAG-free在最小值附近实现了加速收敛。最后，我们在合成和真实数据上对平滑和非平滑Hessian进行了实验，结果表明NAG-free与重启方法具有竞争力，并自然地适应有利的局部曲率条件。
关键词
引用
@article{arxiv.2506.13033,
title = {Adaptive Acceleration Without Strong Convexity Priors Or Restarts},
author = {Joao V. Cavalcanti and Laurent Lessard and Ashia C. Wilson},
journal= {arXiv preprint arXiv:2506.13033},
year = {2025}
}