局部 Lipschitz 连续性与 Kurdyka--{\L}ojasiewicz 条件下非单调近端梯度方法的收敛分析
最优化与控制
2025-05-02 v3
摘要
近端梯度法是求解由连续可微函数与半连续扩展函数之和构成目标函数的标准方法。传统的收敛理论（无论是单调还是非单调变体）都严重依赖于目标函数光滑部分梯度全局 Lipschitz 连续性的假设。最近的研究表明，在假设满足 Kurdyka--{\L}ojasiewicz (KL) 条件时，单调近端梯度法仅需局部（而非全局）Lipschitz 连续性即可在全局收敛。然而，这些结果尚未推广到非单调近端梯度 (NPG) 方法。本文我们考虑两种类型的 NPG 方法：一种结合平均线搜索，另一种结合最大线搜索。通过将指数划分为两个子集，其中一个子集旨在实现函数序列的充分减小，我们在不要求迭代有界的前提下，使用局部 Lipschitz 连续性和 KL 条件，建立了全局收敛性和收敛速率结果。在完成本工作的同时，我们注意到 [18] 采用不同的指数划分策略提出了类似于 NPG 方法的平均线搜索的收敛结果。鉴于此，我们自信地得出结论：NPG 方法的收敛理论独立于指数划分选择。
引用
@article{arxiv.2411.19256,
title = {Convergence analysis of nonmonotone proximal gradient methods under local Lipschitz continuity and Kurdyka--{\L}ojasiewicz property},
author = {Xiaoxi Jia and Kai Wang},
journal= {arXiv preprint arXiv:2411.19256},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2301.05002