TRAFS：一种具有$\mathcal{O}\left(\frac{1}{\epsilon}\right)$迭代复杂度的非光滑凸优化算法

我们提出信赖域对抗泛函次微分（TRAFS）算法，用于非光滑Lipschitz凸函数的约束优化。与先前假设次梯度预言机模型的方法不同，我们采用泛函次微分，其定义为一组次梯度的集合，同时捕获用于有效最小化的充分局部信息，且易于对广泛函数类计算。在每次迭代中，TRAFS通过考虑泛函次微分给出的最坏界，在$\ell_2$有界信赖域中寻找最佳步长向量。TRAFS根据目标函数是否强凸，分别在$\mathcal{O}\left( \epsilon^{-1}\right)$或$\mathcal{O}\left(\epsilon^{-0.5} \right)$次迭代内找到绝对误差至多为$\epsilon$的近似解，而此前已知最优界在这些情形下分别为$\mathcal{O}\left(\epsilon^{-2}\right)$和$\mathcal{O}\left(\epsilon^{-1}\right)$。若泛函次微分满足局部二次性质，TRAFS进展更快；作为推论，对强凸光滑函数TRAFS实现线性收敛（即$\mathcal{O}\left(\log \epsilon^{-1}\right)$）。数值实验中，TRAFS平均快39.1倍，并相较次优方法多解决一倍的问题。