非凸非光滑优化的惯性交替方向乘子法框架
最优化与控制
2023-01-26 v2 机器学习
信号处理
摘要
本文提出一种称为惯性交替方向乘子法（iADMM）的算法框架，用于求解一类带线性约束的非凸非光滑多块复合优化问题。我们的框架采用通用最小化-优超（MM）原理来更新每一块变量，从而不仅统一了先前在 MM 步中使用特定代理函数的 ADMM 的收敛性分析，还导出了新的高效 ADMM 格式。据我们所知，在非凸非光滑情形下，结合 MM 原理更新每块变量的 ADMM，以及结合针对原始变量的惯性项的 ADMM，尚未见文献研究。在标准假设下，我们证明了所生成迭代序列的子列收敛与全局收敛。我们在一类非凸低秩表示问题上展示了 iADMM 的有效性。
引用
@article{arxiv.2102.05433,
title = {A Framework of Inertial Alternating Direction Method of Multipliers for Non-Convex Non-Smooth Optimization},
author = {Le Thi Khanh Hien and Duy Nhat Phan and Nicolas Gillis},
journal= {arXiv preprint arXiv:2102.05433},
year = {2023}
}
备注
35 pages, several parts of the paper clarified, additional experiments on a regularized NMF problem