用于可分离凸规划的过松弛 ADMM 及其在统计学习中的应用
最优化与控制
2024-01-10 v2
摘要
交替乘子法（ADMM）已成功应用于众多领域。此外，文献表明 ADMM 与 Douglas-Rachford 算子分裂法密切相关，并可视为邻近点算法（PPA）的一个特例。众所周知，松弛版的 PPA 不仅在理论上保持了 PPA 的收敛性质，而且在数值表现上优于原始 PPA。因此，探讨 ADMM 是否可以通过过松弛技术得到加速是一个有趣的问题。在本文中，我们通过开发一种结合了在迭代中是否执行松弛步的判别准则的过松弛 ADMM，对这个问题给出了肯定的回答。我们建立了该过松弛 ADMM 的全局收敛性及 收敛率。我们还将所提出的算法用于求解 Lasso 和稀疏逆协方差选择问题，并将其性能与 \cite{CGHY} 中的松弛定制 ADMM 及经典 ADMM 进行了比较。结果表明，我们的算法显著优于其他两种方法。
引用
@article{arxiv.2401.03651,
title = {An over-relaxed ADMM for separable convex programming and its applications to statistical learning},
author = {Renyuan Ni},
journal= {arXiv preprint arXiv:2401.03651},
year = {2024}
}