中文

利用双参考函数求解非凸非 Lipschitz 问题的块 Bregman 近端梯度下降法

最优化与控制 2019-12-17 v1 机器学习

摘要

在信号处理与数据分析的应用中,存在一大类非凸问题,其目标函数不受常见的全局 Lipschitz 连续梯度假设约束(例如非负矩阵分解(NMF)问题)。近来,具有某些特定结构的一类此类问题已通过 Bregman 近端梯度(BPG)方法求解。这启发我们提出一种新的块式双参考 Bregman 近端梯度(B2B)方法,该方法采用两个参考函数,从而在 Bregman 投影中获得闭式解。基于相对光滑性,我们证明了所提算法在各种块选择规则下的全局收敛性。特别地,我们建立了 B2B 的贪心与随机块更新规则的全局收敛速率为 O(sk)O(\frac{\sqrt{s}}{\sqrt{k}}),其比循环变体 O(sk)O(\frac{s}{\sqrt{k}})O(s)O(\sqrt{s}) 倍,其中 ss 为块数,kk 为迭代次数。多个数值结果说明了所提 B2B 在求解 NMF 问题时相较于现有最优工作的优越性。

关键词

引用

@article{arxiv.1912.07527,
  title  = {Leveraging Two Reference Functions in Block Bregman Proximal Gradient Descent for Non-convex and Non-Lipschitz Problems},
  author = {Tianxiang Gao and Songtao Lu and Jia Liu and Chris Chu},
  journal= {arXiv preprint arXiv:1912.07527},
  year   = {2019}
}

备注

Submit to TSP