无需 Lipschitz 梯度连续性的非凸正则化有限和最小化的 Bregman Finito/MISO 方法
最优化与控制
2024-04-17 v2
摘要
我们引入两种用于非凸正则化有限和最小化的算法，其中典型的 Lipschitz 可微性假设被放宽为相对光滑性概念。第一种是 Finito/MISO 的 Bregman 推广，在采样随机化时针对完全非凸问题进行研究，或在非光滑项凸且本质循环采样时进行研究。第二种算法是一种低内存变体，遵循 SVRG 和 SARAH 的思想，同样允许完全非凸公式。我们通过采用 Bregman Moreau 包络作为 Lyapunov 函数，使分析极为简洁。在随机化情形下，当代价函数强凸时建立了线性收敛，但对和中各单独函数无凸性要求。对于本质循环和低内存变体，当代价函数满足 Kurdyka-Łojasiewicz 性质时，建立了全局与线性收敛结果。
引用
@article{arxiv.2102.10312,
title = {Bregman Finito/MISO for nonconvex regularized finite sum minimization without Lipschitz gradient continuity},
author = {Puya Latafat and Andreas Themelis and Masoud Ahookhosh and Panagiotis Patrinos},
journal= {arXiv preprint arXiv:2102.10312},
year = {2024}
}