一种面向非光滑非凸优化的惯性块-majorization最小化框架
最优化与控制
2023-01-26 v3 机器学习
信号处理
摘要
本文提出TITAN，一种面向非光滑非凸优化问题的新颖惯性块majorization最小化(inerTIal block majorizaTion minimizAtioN)框架。据我们所知，TITAN是首个基于majorization-minimization框架、并在块更新的每一步嵌入惯性力的块坐标更新方法框架。惯性力通过外推算子获得，该算子将重球法和Nesterov型加速作为块近端梯度方法的特例纳入其中。通过选择不同的代理函数（如近端、Lipschitz梯度、Bregman、二次和复合代理函数）并改变外推算子，TITAN产生丰富的惯性块坐标更新方法集合。我们研究了TITAN所生成序列的子序列收敛性以及全局收敛性。我们在两个重要的机器学习问题（即稀疏非负矩阵分解和矩阵补全）上说明了TITAN的有效性。
引用
@article{arxiv.2010.12133,
title = {An Inertial Block Majorization Minimization Framework for Nonsmooth Nonconvex Optimization},
author = {Le Thi Khanh Hien and Duy Nhat Phan and Nicolas Gillis},
journal= {arXiv preprint arXiv:2010.12133},
year = {2023}
}
备注
42 pages, we have clarified several aspects of the paper