梯度原始对偶算法收敛到非凸分布式优化的二阶驻点解
最优化与控制
2018-02-27 v1 信息论
math.IT
摘要
在这项工作中，我们研究了两种基于一阶原始对偶的算法，即梯度原始对偶算法（GPDA）和梯度交替方向乘子法（GADMM），用于求解一类线性约束的非凸优化问题。我们证明，在原始变量和对偶变量随机初始化的情况下，两种算法都能以概率一计算出二阶驻点解（ss2）。这是首个表明原始对偶算法在仅使用一阶信息时能够找到 ss2 的结果，它也将现有仅针对原始变量的一阶算法的结果进行了推广。我们结果的一个重要推论是，对于多智能体网络上的两类无约束分布式非凸学习问题，它也给出了首个收敛到 ss2 的全局收敛结果。
引用
@article{arxiv.1802.08941,
title = {Gradient Primal-Dual Algorithm Converges to Second-Order Stationary Solutions for Nonconvex Distributed Optimization},
author = {Mingyi Hong and Jason D. Lee and Meisam Razaviyayn},
journal= {arXiv preprint arXiv:1802.08941},
year = {2018}
}