面向非凸非光滑优化的随机共轭框架
最优化与控制
2023-10-23 v1 数值分析
数值分析
摘要
我们针对一类非凸且可能同时非光滑的优化问题引入两种新的随机共轭框架。这些框架构建于随机递归梯度算法（SARAH）之上，因此我们分别称其为 Acc-Prox-CG-SARAH 和 Acc-Prox-CG-SARAH-RS。它们高效加速、易于实现、无需调参且可平滑扩展与修改。我们为随机优化设计了一种确定性重启方案，并将其应用于我们的第二种随机共轭框架，这构成了两种方法的关键区别。此外，我们应用概率梯度估计器（PAGE）并进一步开发了一个实用变体，记为 Acc-Prox-CG-SARAH-ST，以降低潜在计算开销。我们为全部三种方法提供了全面且严格的收敛性分析，并针对具有非凸非光滑目标函数的无约束最小化问题建立了线性收敛速率。实验表明，Acc-Prox-CG-SARAH 与 Acc-Prox-CG-SARAH-RS 均一致优于最先进方法，且 Acc-Prox-CG-SARAH-ST 亦可达到相当的收敛速度。在理论与实验上，我们验证了确定性重启方案在随机优化方法中的强计算效率。
引用
@article{arxiv.2310.13251,
title = {Stochastic Conjugate Frameworks for Nonconvex and Nonsmooth Optimization},
author = {Jiangshan Wang and Zheng Peng},
journal= {arXiv preprint arXiv:2310.13251},
year = {2023}
}
备注
45 pages