一种带外推的Bregman近端随机梯度方法用于非凸非光滑问题
最优化与控制
2024-01-05 v1
摘要
在本文中，我们探讨了一个特定的优化问题，该问题涉及一个可微非凸函数和一个不可微函数的组合。可微分量缺乏全局Lipschitz连续梯度，这给优化带来了挑战。为了解决这个问题并加速收敛，我们提出了一种带外推的Bregman近端随机梯度方法（BPSGE），该方法仅需要可微部分的平滑自适应性。在方差缩减框架下，我们不仅分析了所提算法在特定条件下的子序列和全局收敛性，还分析了子序列的次线性收敛率以及算法的复杂度，揭示了BPSGE算法在期望上最多需要O(epsilon^(-2))次迭代即可达到epsilon-稳定点。为了验证我们提出算法的有效性，我们在三个实际应用上进行了数值实验：图正则化非负矩阵分解（NMF）、弱凸正则化矩阵分解以及非凸稀疏约束NMF。这些实验表明，BPSGE比没有外推的基线方法更快。
引用
@article{arxiv.2401.02040,
title = {A Bregman Proximal Stochastic Gradient Method with Extrapolation for Nonconvex Nonsmooth Problems},
author = {Qingsong Wang and Zehui Liu and Chunfeng Cui and Deren Han},
journal= {arXiv preprint arXiv:2401.02040},
year = {2024}
}
备注
accepted by AAAI 2024