用于复合凸一致性优化的分布式线性化交替方向乘子法

给定一个由通过 $\mathcal{E}$ 中的边相连的智能体 $\mathcal{N}=\{1,\ldots,N\}$ 组成的无向图 $\mathcal{G}=(\mathcal{N},\mathcal{E})$，我们研究如何计算一个最优决策，使得智能体之间就该决策达成一致，并且在满足隐私要求的前提下，最小化特定于智能体的私有凸复合函数 $\{\Phi_i\}_{i\in\mathcal{N}}$ 之和，其中 $\Phi_i\triangleq \xi_i + f_i$ 属于智能体 $i$。假设仅相连的智能体之间可以进行通信，我们提出了一种分布式近端梯度方法 DPGA，用于在无权和加权静态（无向）通信网络上进行一致性优化。在一次迭代中，每个智能体 $i$ 计算 $\xi_i$ 的近端映射和 $f_i$ 的梯度，随后与相邻智能体进行局部通信。我们还研究了其随机梯度变体 SDPGA，该变体在每个智能体 $i$ 处只能获取 $\nabla f_i$ 的含噪估计。该计算模型抽象了分布式感知、机器学习与统计推断中的诸多应用。我们证明了 DPGA 与 SDPGA 在次优误差与一致性违背上的遍历收敛性，其速率分别为 $\mathcal{O}(1/t)$ 和 $\mathcal{O}(1/\sqrt{t})$。