非凸光滑复合优化问题的平均曲率FISTA
最优化与控制
2023-02-07 v4
摘要
作者先前的一篇论文引入了一种加速复合梯度（ACG）变体，即AC-ACG，用于求解非凸光滑复合优化（N-SCO）问题。与其他ACG变体不同，AC-ACG利用前几次迭代中观察到的上 Lipschitz 曲率的平均值来估计N-SCO问题的局部上曲率，并使用该估计和两次复合预解式求值来计算下一次迭代。本文提出一种替代的FISTA型ACG变体，即AC-FISTA，其具有以下附加特征：i）每次迭代平均执行一次复合预解式求值；ii）它利用先前观察到的上曲率（而非上 Lipschitz 曲率）的平均值来估计局部上曲率。这两个性质共同作用产生了一种实用的AC-FISTA变体，其显著优于早期的ACG变体，包括上述作者论文中讨论的AC-ACG变体。
引用
@article{arxiv.2105.06436,
title = {Average Curvature FISTA for Nonconvex Smooth Composite Optimization Problems},
author = {Jiaming Liang and Renato D. C. Monteiro},
journal= {arXiv preprint arXiv:2105.06436},
year = {2023}
}
备注
24 pages