EXTRA：一种用于去中心化共识优化的精确一阶算法

近年来，求解多智能体网络中的共识优化问题引起了越来越多的关注。本文针对定义在 $n$ 个智能体构成的连通网络上的共识优化问题 $$\min\limits_{x\in\mathbb{R}^p}~\bar{f}(x)=\frac{1}{n}\sum\limits_{i=1}^n f_i(x),$$ 开发了一种去中心化算法，其中每个函数 $f_i$ 由智能体 $i$ 私有持有并编码该智能体的数据与目标。所有智能体需协作寻找最小化器，而每个智能体仅能与其邻居通信。这种计算方案避免了数据融合中心或长距离通信，并为网络提供了更好的负载平衡。本文提出了一种新颖的去中心化精确一阶算法（缩写为 EXTRA）来求解共识优化问题。“精确”意味着它能收敛到精确解。EXTRA 可使用固定的大步长，{该步长独立于网络规模}，并具有同步迭代特性。每个智能体 $i$ 的局部变量一致且共识地收敛到 $\bar{f}$ 的精确最小化器。相比之下，众所周知的去中心化梯度下降 (DGD) 方法必须使用递减步长才能收敛到精确最小化器。EXTRA 和 DGD 具有相同的混合矩阵选择和相似的每迭代复杂度。然而，EXTRA 使用了最后两次迭代的梯度，而 DGD 仅使用最后一次迭代的梯度。EXTRA 在现有的去中心化一阶算法中具有最佳已知收敛率。具体而言，如果 $f_i$ 是凸函数且具有 Lipschitz 连续梯度，则 EXTRA 在一阶最优性残差方面具有 $O(\frac{1}{k})$ 的遍历收敛率。如果 $\bar{f}$ 还是限制强凸的，则 EXTRA 以线性速率 $O(C^{-k})$ 收敛到最优解，其中 $C>1$ 为某常数。