SPIRAL：一种用于非凸有限和最小化的超线性收敛增量邻近算法
最优化与控制
2024-04-30 v2 机器学习
摘要
我们提出 SPIRAL（SuPerlinearly convergent Incremental pRoximal ALgorithm，超线性收敛增量邻近算法），在相对光滑假设下求解非凸正则化有限和问题。SPIRAL 的每次迭代由内、外两循环组成。它将增量梯度更新与一种线搜索相结合，该线搜索具有一个显著性质：在渐近意义上永不被触发，从而在极限点处的温和假设下实现超线性收敛。在凸、非凸及非 Lipschitz 可微问题上采用 L-BFGS 方向的仿真结果表明，我们的算法及其自适应变体均与当前最优（SOTA）方法具有竞争力。
引用
@article{arxiv.2207.08195,
title = {SPIRAL: A superlinearly convergent incremental proximal algorithm for nonconvex finite sum minimization},
author = {Pourya Behmandpoor and Puya Latafat and Andreas Themelis and Marc Moonen and Panagiotis Patrinos},
journal= {arXiv preprint arXiv:2207.08195},
year = {2024}
}