中文

使用非强凸近端函数的对偶平均法:新分析与算法

最优化与控制 2025-05-06 v2

摘要

我们提出了用于求解复合凸优化问题 minxRnf(Ax)+h(x){\min}_{x\in\mathbb{R}^n} \, f(\mathsf{A} x) + h(x) 的对偶平均型方法的新的分析与算法,其中 ff 是凸且全局 Lipschitz 的函数,A\mathsf{A} 是线性算子,hh 是在 DA 型方法中用作近端函数的“简单”凸函数。通过超越近端函数 hh 被假设为(在其定义域上)强凸的经典设定,我们开辟了分析和开发 DA 型方法的新途径。为此,我们识别了关于 hh(以及 ffA\mathsf{A})的两组新假设,并表明它们广泛适用于许多重要的非强凸函数类。在第一组假设下,我们证明了原始 DA 方法仍具有 O(1/k)O(1/k) 的原始-对偶收敛速率。此外,我们分析了该方法的仿射不变性及其收敛速率。在第二组假设下,我们开发了一种具有对偶单调性的新 DA 型方法,并证明其具有 O(1/k)O(1/k) 的原始-对偶收敛速率。最后,我们考虑了 ff 仅在 C:=A(domh)\mathcal{C}:=\mathsf{A}(\mathsf{dom} h) 上凸且 Lipschitz 的情况,并基于 Pasch-Hausdorff 包络构造了其全局凸且 Lipschitz 的延拓。此外,我们利用与 ffC\mathcal{C} 相关的凸分析对象刻画了该延拓的次微分和 Fenchel 共轭。

关键词

引用

@article{arxiv.2504.03613,
  title  = {Dual Averaging With Non-Strongly-Convex Prox-Functions: New Analysis and Algorithm},
  author = {Renbo Zhao},
  journal= {arXiv preprint arXiv:2504.03613},
  year   = {2025}
}

备注

39 pages