具有线性收敛性的分散优化压缩梯度跟踪方法
最优化与控制
2021-06-21 v3 分布式、并行与集群计算
多智能体系统
社会与信息网络
摘要
在通信受限条件下求解分散优化问题时，通信压缩技术日益受到关注；该问题的全局目标是在仅使用局部计算和点到点通信的多智能体网络上，最小化局部代价函数的平均值。本文中，我们首先提出一种新颖的压缩梯度跟踪算法（C-GT），将梯度跟踪技术与通信压缩相结合。具体而言，C-GT 兼容一类统一的无偏与有偏压缩算子的通用压缩算子。我们证明 C-GT 继承了基于梯度跟踪算法的优点，并对强凸且光滑的目标函数实现线性收敛速率。在本文第二部分，我们提出一种基于误差反馈的压缩梯度跟踪算法（EF-C-GT），以进一步提升有偏压缩算子下的算法效率。数值算例补充了理论发现，并展示了所提算法的效率与灵活性。
引用
@article{arxiv.2103.13748,
title = {Compressed Gradient Tracking Methods for Decentralized Optimization with Linear Convergence},
author = {Yiwei Liao and Zhuorui Li and Kun Huang and Shi Pu},
journal= {arXiv preprint arXiv:2103.13748},
year = {2021}
}