面向多仿射约束优化的 ADMM 方法

Wenbo Gao; Donald Goldfarb; Frank E. Curtis

面向多仿射约束优化的 ADMM 方法

最优化与控制 2019-10-24 v3

作者: Wenbo Gao , Donald Goldfarb , Frank E. Curtis

摘要

我们拓展了交替方向乘子法（ADMM）的适用范围。具体而言，我们证明当 ADMM 用于求解满足某些可验证假设的多仿射约束问题时，若增广拉格朗日函数中的罚参数足够大，则 ADMM 收敛到约束驻点集。当 Kurdyka-Łojasiewicz（K-Ł）性质成立时，该结论可加强为收敛到单个约束驻点。我们的分析所依据的假设已力求尽可能弱。除可涉及多个（三个或更多）变量块的多仿射约束外，该分析也适用于包含非凸和/或非光滑目标项的问题。为说明结果的可应用性，我们给出了若干实例，包括非负矩阵分解、稀疏学习、风险平价投资组合选择、凸问题的非凸重构以及神经网络训练。在每种情况下，我们的 ADMM 方法所遇到的子问题均具有闭式解。

关键词

交替方向乘子法多仿射约束非凸优化非光滑优化 Kurdyka-Łojasiewicz 性质约束驻点闭式子问题

引用

@article{arxiv.1802.09592,
  title  = {ADMM for Multiaffine Constrained Optimization},
  author = {Wenbo Gao and Donald Goldfarb and Frank E. Curtis},
  journal= {arXiv preprint arXiv:1802.09592},
  year   = {2019}
}

备注

v3: 37 pages, 7 figures v2: 32 pages, 0 figures. v1: 26 pages, 0 figures

面向多仿射约束优化的 ADMM 方法

摘要

关键词

引用

备注

相关论文