用于凸复合优化的随机 ISTA/FISTA 自适应步长搜索算法
最优化与控制
2025-02-14 v2
摘要
我们开发并分析了 ISTA 和完全回溯 FISTA 算法 [Beck and Teboulle, 2009, Scheinberg et al., 2014] 的随机变体，用于复合优化，且不假设随机梯度是无偏估计量。本文将 [Schmidt et al., 2011] 中对不精确固定步长 ISTA/FISTA 的分析扩展到了随机梯度估计和通过回溯选择的自适应步长参数情形。此外，还将 [Cartis and Scheinberg, 2018] 中分析随机线搜索方法的框架扩展到了近端梯度框架以及加速一阶方法。
引用
@article{arxiv.2402.15646,
title = {Stochastic ISTA/FISTA Adaptive Step Search Algorithms for Convex Composite Optimization},
author = {Lam M. Nguyen and Katya Scheinberg and Trang H. Tran},
journal= {arXiv preprint arXiv:2402.15646},
year = {2025}
}
备注
To appear at the Journal of Optimization Theory and Applications