分布式非凸优化一阶与零阶原始对偶算法的线性收敛性
最优化与控制
2021-08-26 v3
摘要
本文考虑分布式非凸优化问题，即通过局部信息交换来最小化由局部代价函数之和构成的全局代价函数。我们首先考虑一种分布式一阶原始对偶算法。我们证明，若每个局部代价函数光滑，则该算法次线性收敛到驻点；在全局代价函数满足 Polyak-Łojasiewicz 条件的额外条件下，则线性收敛到全局最优。该条件弱于强凸性（强凸性是证明分布式优化算法线性收敛的标准条件），且全局极小点不必唯一。受梯度不可用情形的启发，我们随后提出一种分布式零阶算法，该算法由所考虑的一阶算法通过使用确定性梯度估计器导出，并证明在相同条件下具有与所考虑的一阶算法相同的收敛性质。理论结果通过数值仿真加以说明。
引用
@article{arxiv.1912.12110,
title = {Linear Convergence of First- and Zeroth-Order Primal-Dual Algorithms for Distributed Nonconvex Optimization},
author = {Xinlei Yi and Shengjun Zhang and Tao Yang and Tianyou Chai and Karl H. Johansson},
journal= {arXiv preprint arXiv:1912.12110},
year = {2021}
}