非光滑非凸稀疏回归中 PGM 相对于 PDCA 的优越性
最优化与控制
2022-04-21 v5
摘要
本文对求解可转化为两个凸函数之差（DC）优化问题的稀疏回归问题的近端梯度法（PGM）和近端 DC 算法（PDCA）进行了比较研究。已有研究表明，对于 DC 优化问题，广义迭代收缩阈值算法（GIST，PGM 的一种改进版本）和 PDCA 均收敛到临界点。最近，一些增强版的 PDCA 被证明能收敛到 d-稳定点，这是比临界点更强的局部最优性必要条件。本文中，我们声称无需任何修改，PGM 不仅对 DC 问题，而且在某些技术假设下对更一般的非光滑非凸问题也能收敛到 d-稳定点。虽然步长足够小时收敛到 d-稳定点是已知的，但本文的发现也适用于扩展版本，如 GIST 及其交替优化版本（本文也将开发此版本）。数值结果表明，在这两类算法中，PGM 的改进版本不仅在解的质量上，而且在计算时间上都表现最佳。
引用
@article{arxiv.2007.01169,
title = {On the superiority of PGMs to PDCAs in nonsmooth nonconvex sparse regression},
author = {Shummin Nakayama and Jun-ya Gotoh},
journal= {arXiv preprint arXiv:2007.01169},
year = {2022}
}
备注
Theorem 5.2. and its proof; We have added an assumption and modified the proof because the previous version (and Theorem 2 of the published version in Optimization Letters) had some mathematical errors. Furthermore, we have corrected some typos