Convexity of Optimization Curves: Local Sharp Thresholds, Robustness Impossibility, and New Counterexamples
最优化与控制
2025-09-12 v1 机器学习
摘要
我们研究了一阶方法的\emph{优化曲线}何时为凸函数——即以常数步长迭代产生的序列${f(x\_n)}*{n\ge0}$是否为凸函数，等价地说，前向差分$f(x\_n)-f(x*{n+1})$是否单调递减。在凸 $L$-smooth 函数上进行梯度下降 (GD) 时，曲线在所有步长 $\eta \le 1.75/L$ 时为凸函数，且该阈值是紧致的。此外，梯度范数在所有 $\eta \le 2/L$ 时均单调递减；在连续时间（梯度流）中，曲线始终为凸函数。这些结果补充并细化了经典的光滑凸优化工具箱，连接了离散动力学与连续动力学，以及最坏情况分析。
关键词
引用
@article{arxiv.2509.08954,
title = {Convexity of Optimization Curves: Local Sharp Thresholds, Robustness Impossibility, and New Counterexamples},
author = {Le Duc Hieu},
journal= {arXiv preprint arXiv:2509.08954},
year = {2025}
}