善良非凸景观中的Nestrov加速
最优化与控制
2025-05-14 v3 机器学习
机器学习
摘要
虽然动量优化算法常用于深入学习中著名的非凸优化问题中，但其分析历史上局限于凸和强凸场景。本文在理论与实践之间架起了一座桥梁，表明在具有"善良"非凸性的优化问题中几乎可以获得与之类似的保证。我们表明，这些较弱的几何假设在过参数化的深度学习中至少在局部是充分合理的。对Nesterov加速梯度下降算法（NAG）的连续时间模型、经典离散时间版本的NAG以及带有纯添加性噪声和具有添加性和乘性比例缩放噪声的NAG版本均获得了该结果的变体。
引用
@article{arxiv.2410.08395,
title = {Nesterov acceleration in benignly non-convex landscapes},
author = {Kanan Gupta and Stephan Wojtowytsch},
journal= {arXiv preprint arXiv:2410.08395},
year = {2025}
}
备注
ICLR 2025 Spotlight