用于非凸复合优化的带方差缩减的随机变度量近端梯度法
机器学习
2023-03-09 v2 最优化与控制
摘要
本文提出一种新颖算法——扰动近端预条件SPIDER算法（3P-SPIDER），旨在求解有限和的非凸复合优化问题。它是一种随机变度量前向-后向算法，允许近似的预条件前向算子，并使用变度量邻近算子作为后向算子；它还提出了一种带方差缩减的小批量策略以处理有限和情形。我们证明3P-SPIDER将一些基于随机预条件梯度下降的算法以及一些增量期望最大化算法推广到复合优化以及前向算子无法以闭式计算的情形。我们还给出了3P-SPIDER在期望意义下收敛性的显式控制，并研究了其满足ε-近似驻点条件的复杂度。我们的结果是首个将复合非凸优化设定、通过小批量策略处理有限和设定的方差缩减技术，以及允许预条件前向算子的确定性或随机近似相结合的成果。最后，通过将该方法应用于带随机效应的逻辑回归模型推断，我们在数值上将3P-SPIDER与其他随机前向-后向算法进行比较，并讨论了3P-SPIDER某些设计参数的作用。
引用
@article{arxiv.2301.00631,
title = {Stochastic Variable Metric Proximal Gradient with variance reduction for non-convex composite optimization},
author = {Gersende Fort and Eric Moulines},
journal= {arXiv preprint arXiv:2301.00631},
year = {2023}
}
备注
Statistics and Computing, In press