变度量过松弛混合邻近外梯度法的算法框架
最优化与控制
2019-06-03 v2 机器学习
数值分析
数值分析
摘要
我们提出了一种新颖的变度量过松弛混合邻近外梯度（VMOR-HPE）方法算法框架，对极大单调算子包含问题具有全局收敛保证。给出了其迭代复杂度和局部线性收敛速率，从理论上表明较大的过松弛步长有助于加速所提 VMOR-HPE 这一副产品。具体而言，我们发现一大类原始和对偶原始算子分裂算法均为 VMOR-HPE 的特例。因此，该框架为这些算子分裂算法提供了新视角。此外，我们将 VMOR-HPE 应用于线性等式约束多块复合凸优化的 Karush-Kuhn-Tucker（KKT）广义方程，得到一种新算法，即带有预条件外梯度步的非对称邻近交替方向乘子法，其中预条件度量由分块 Barzilai-Borwein 线搜索技术生成（PADMM-EBB）。我们还建立了 PADMM-EBB 在 KKT 残差意义上的迭代复杂度。最后，我们将 PADMM-EBB 用于处理非负对偶图正则低秩表示问题。在合成与真实数据集上的有前景结果证实了 PADMM-EBB 的有效性。
引用
@article{arxiv.1805.06137,
title = {An Algorithmic Framework of Variable Metric Over-Relaxed Hybrid Proximal Extra-Gradient Method},
author = {Li Shen and Peng Sun and Yitong Wang and Wei Liu and Tong Zhang},
journal= {arXiv preprint arXiv:1805.06137},
year = {2019}
}
备注
Accepted by ICML 2018