一阶优化中的反例：一种构造性方法
最优化与控制
2025-01-13 v3
摘要
尽管近年来发展了许多用于获取一阶优化方法最坏情况复杂度界限的方法，但在无法找到此类界限的情形中仍存在理论空白。在此类情形中，往往无法明确是不存在这样的界限（例如，因为算法可能无法系统性收敛），还是仅仅因为现有技术无法找到它们。在本工作中，我们提出了一种自动化搜索由一阶方法生成的循环轨迹的方法。这提供了一种构造性方法来证明不存在合适的复杂度界限，从而补充了提供收敛充分条件的方法。利用该工具，我们给出了一些参数范围，使得若干著名的 heavy-ball、Nesterov 加速梯度、非精确梯度下降和三算子分裂算法无法系统性收敛，并表明该工具能很好地补充搜索 Lyapunov 函数的现有工具。
引用
@article{arxiv.2303.10503,
title = {Counter-examples in first-order optimization: a constructive approach},
author = {Baptiste Goujaud and Aymeric Dieuleveut and Adrien Taylor},
journal= {arXiv preprint arXiv:2303.10503},
year = {2025}
}