中文

线性约束凸规划的 Jacobian 与 Gauss-Seidel 混合邻近块坐标更新方法

最优化与控制 2018-01-04 v2 数值分析 机器学习

摘要

近年来,块坐标更新 (BCU) 方法快速发展,其特别适用于涉及大尺寸数据和/或变量的问题。在优化中,BCU 最初作为坐标下降法出现,该方法对光滑问题或具有可分非光滑项和/或可分约束的问题表现良好。当存在不可分约束时,BCU 可在原始对偶设置下应用。文献中已表明,对于具有不可分线性约束的弱凸问题,采用全 Gauss-Seidel 更新规则的 BCU 可能不收敛,而采用全 Jacobian 规则的 BCU 可次线性收敛。然而,经验上 Jacobian 更新的方法通常慢于 Gauss-Seidel 规则的方法。为保持它们的优势,我们提出了一种混合 Jacobian 与 Gauss-Seidel 邻近块坐标更新 (BCU) 方法,用于求解线性约束多块结构凸规划,其中目标函数可能具有不可分二次项和可分非光滑项。在每次原始块变量更新时,该方法在之前两次迭代的仿射组合处近似增广拉格朗日函数,并且具有所需良好性质的仿射混合矩阵可通过求解半定规划来选择。我们证明了该混合方法享有与 Jacobian BCU 相同的理论收敛保证。此外,我们通过数值实验证明该方法可表现得与 Gauss-Seidel 方法一样好,并且优于最近提出的随机原始对偶 BCU 方法。

关键词

引用

@article{arxiv.1608.03928,
  title  = {Hybrid Jacobian and Gauss-Seidel proximal block coordinate update methods for linearly constrained convex programming},
  author = {Yangyang Xu},
  journal= {arXiv preprint arXiv:1608.03928},
  year   = {2018}
}

备注

Accepted in SIAM Journal on Optimization