非光滑稀疏约束优化的平滑近端梯度法:最优性条件与全局收敛
最优化与控制
2023-12-18 v5
摘要
非光滑稀疏约束优化涵盖机器学习中广泛的应用。该问题一般为非凸且NP难。现有解法存在若干显著局限,包括无法处理一般非光滑问题、倾向于给出较弱最优性条件以及缺乏全面的收敛分析。本文考虑将平滑近端梯度法(SPGM)作为非光滑稀疏约束优化问题的解。探讨了SPGM的两种具体变体:一种基于迭代硬阈值(SPGM-IHT),另一种基于块坐标分解(SPGM-BCD)。研究表明,与先前方法相比,SPGM-BCD算法可求得更强的驻点。此外,发展了用于分析SPGM-IHT与SPGM-BCD算法收敛速率的新理论。我们的理论界利用优化问题固有的稀疏性,与迄今已知最佳误差界相当。最后,数值实验显示SPGM-IHT性能与当前IHT类方法相当,而SPGM-BCD始终优于它们。
引用
@article{arxiv.2104.13782,
title = {Smoothing Proximal Gradient Methods for Nonsmooth Sparsity Constrained Optimization: Optimality Conditions and Global Convergence},
author = {Ganzhao Yuan},
journal= {arXiv preprint arXiv:2104.13782},
year = {2023}
}