带压缩的去中心化优化双时间尺度原始-对偶算法

本文提出了一种双时间尺度压缩原始-对偶（TiCoPD）算法，用于去中心化优化，相较于先前的原始-对偶去中心化优化工作具有更高的通信效率。该算法建立在原始-对偶优化框架之上，并利用了极大化-极小化过程。后者自然地促使智能体在迭代过程中共享一个压缩差分项。此外，TiCoPD 算法结合了用于非线性压缩项上智能体共识的快时间尺度镜像序列，以及用于优化目标函数的慢时间尺度原始-对偶递归。我们证明了 TiCoPD 算法在常数步长下收敛。它还能在 $T$ 次迭代后找到一个 $O(1/T)$ 的稳定解。在神经网络去中心化训练上的数值实验验证了 TiCoPD 算法的有效性。