利用双参考函数求解非凸非 Lipschitz 问题的块 Bregman 近端梯度下降法
最优化与控制
2019-12-17 v1 机器学习
摘要
在信号处理与数据分析的应用中,存在一大类非凸问题,其目标函数不受常见的全局 Lipschitz 连续梯度假设约束(例如非负矩阵分解(NMF)问题)。近来,具有某些特定结构的一类此类问题已通过 Bregman 近端梯度(BPG)方法求解。这启发我们提出一种新的块式双参考 Bregman 近端梯度(B2B)方法,该方法采用两个参考函数,从而在 Bregman 投影中获得闭式解。基于相对光滑性,我们证明了所提算法在各种块选择规则下的全局收敛性。特别地,我们建立了 B2B 的贪心与随机块更新规则的全局收敛速率为 ,其比循环变体 快 倍,其中 为块数, 为迭代次数。多个数值结果说明了所提 B2B 在求解 NMF 问题时相较于现有最优工作的优越性。
引用
@article{arxiv.1912.07527,
title = {Leveraging Two Reference Functions in Block Bregman Proximal Gradient Descent for Non-convex and Non-Lipschitz Problems},
author = {Tianxiang Gao and Songtao Lu and Jia Liu and Chris Chu},
journal= {arXiv preprint arXiv:1912.07527},
year = {2019}
}
备注
Submit to TSP