非凸复合与有限和优化的预条件原始对偶梯度法
最优化与控制
2023-09-27 v2
摘要
本文首先基于共轭对偶理论引入一种预条件原始对偶梯度算法。该算法旨在求解复合优化问题，其目标函数由两个加项组成：一个连续可微的非凸函数与一个非光滑非凸函数经线性算子复合而成。与现有非凸原始对偶算法不同，我们提出的算法通过利用共轭对偶，无需计算非凸函数的邻近映射。在温和条件下，我们证明所生成序列的任一聚点均为该复合优化问题的临界点。在 Kurdyka-Łojasiewicz 性质下，我们建立了迭代的全局收敛性与收敛速率。其次，针对非凸有限和Optimization，我们提出一种随机算法，将预条件原始对偶梯度算法与一类方差缩减随机梯度估计器相结合。基于 Kurdyka-Łojasiewicz 不等式，推导了几乎必然全局收敛性与期望收敛速率。最后，给出若干初步数值结果以证明所提算法的有效性。
引用
@article{arxiv.2309.13416,
title = {Preconditioned Primal-Dual Gradient Methods for Nonconvex Composite and Finite-Sum Optimization},
author = {Jiahong Guo and Xiao Wang and Xiantao Xiao},
journal= {arXiv preprint arXiv:2309.13416},
year = {2023}
}