面向凸优化的通用条件梯度滑动法

本文提出一种一阶无投影方法，即通用条件梯度滑动（UCGS）方法，用于求解凸可微优化问题的 $\varepsilon$-近似解。对于具有 Hölder 连续梯度的目标函数，我们证明 UCGS 能够以至多 $O((M_\nu D_X^{1+\nu}/{\varepsilon})^{2/(1+3\nu)})$ 次梯度评估和 $O((M_\nu D_X^{1+\nu}/{\varepsilon})^{4/(1+3\nu)})$ 次线性目标优化终止于 $\varepsilon$-解，其中 $\nu\in (0,1]$ 和 $M_\nu>0$ 分别为 Hölder 条件的指数与常数。此外，UCGS 能够在不要求任何关于光滑性信息 $\nu$ 和 $M_\nu$ 的具体知识的情况下进行此类计算。在 $\nu\in (0,1)$ 的弱光滑情形下，两类复杂度结果均改进了条件梯度方法在一阶无投影方法上当前最优的 $O((M_\nu D_X^{1+\nu}/{\varepsilon})^{1/\nu})$ 结果。在滑动型算法类中，据我们所知，这是首次有滑动型算法不仅能够改进梯度复杂度，还能改进计算近似解的整体复杂度。在 $\nu=1$ 的光滑情形下，UCGS 匹配最优复杂度结果，并增加了便于实际实现的更多特性。