基于方差缩减聚合的梯度跟踪法用于有向网络上的分布式优化
最优化与控制
2023-07-28 v1
摘要
本文研究有向网络上带有噪声信息共享的分布式优化问题。为解决有向网络上不完美通信的问题，一系列 Push-Pull/AB 方法的抗噪变体已被提出。这些方法通过对权重矩阵添加小因子以及用累积梯度跟踪替代全局梯度跟踪，提升了 Push-Pull 方法对信息共享噪声的鲁棒性。基于这两种技术，我们提出了 Push-Pull 方法的一种新变体，给出了一种新颖的智能体间信息聚合机制，称为方差缩减聚合(VRA)。VRA 帮助我们放宽了关于目标函数和网络的一些条件。当目标函数为凸函数且共享信息噪声方差无界时，可证明所提方法几乎必然收敛到最优解。当目标函数强凸且共享信息噪声方差有界时，所提方法在均方意义下达到 的收敛速率，其中 可无限接近于 0。在岭回归问题上的仿真实验验证了所提方法的有效性。
引用
@article{arxiv.2307.14776,
title = {A Variance-Reduced Aggregation Based Gradient Tracking method for Distributed Optimization over Directed Networks},
author = {Shengchao Zhao and Siyuan Song and Yongchao Liu},
journal= {arXiv preprint arXiv:2307.14776},
year = {2023}
}