非凸复合优化的 Bregman 前后向线搜索算法：对非孤立局部极小值的超线性收敛
最优化与控制
2024-04-17 v2
摘要
我们引入了 Bella，一种局部超线性收敛的 Bregman 前后向分裂方法，用于最小化两个非凸函数之和，其中一个满足相对光滑条件，另一个可能非光滑。我们方法的一个关键工具是 Bregman 前后向包络（BFBE），这是一个具有良好一阶和二阶性质的精确连续罚函数，并且当目标函数满足 Lojasiewicz 型性质时具有非线性误差界。所提出的算法属于沿候选更新方向在 BFBE 上进行线搜索的类型，并且子序列收敛到驻点，在 KL 条件下全局收敛；得益于给定的非线性误差界，只要方向选择得当，即使极限点是非孤立极小值，也能达到超线性收敛速率。
引用
@article{arxiv.1905.11904,
title = {A Bregman forward-backward linesearch algorithm for nonconvex composite optimization: superlinear convergence to nonisolated local minima},
author = {Masoud Ahookhosh and Andreas Themelis and Panagiotis Patrinos},
journal= {arXiv preprint arXiv:1905.11904},
year = {2024}
}