通过双动量和方差归约压缩通信加速拜占凯鲁鲁健壮分布学习

在协作式分布式学习中，拜占凯鲁鲁鲁健壮性是优化算法的一个重要方面。此类分布算法通常伴随传输大量参数的过程，因此通信压缩对于有效求解至关重要。本文提出了 Byz-DM21 算法，这是一种新颖的拜占凯鲁鲁鲁健壮且通信高效的随机分布学习算法。我们的关键创新是基于双动量机制的新型梯度估计器，集成了最近在误差反馈技术方面的进展。借助该估计器，我们设计了标准算法和加速算法，无需依赖大批量大小即可保持对拜占凯鲁鲁鲁工作节点的鲁棒性。我们证明 Byz-DM21 算法的邻域规模更小，能够在 $\mathcal{O}(\varepsilon^{-4})$ 次迭代中收敛到 $\varepsilon$ - stationary点。为进一步提升效率，我们引入一种称为 Byz-VR-DM21 的分布式变体，在每个节点处引入局部方差归约，以逐步消除随机近似中的方差。我们证明 Byz-VR-DM21 可在 $\mathcal{O}(\varepsilon^{-3})$ 次迭代中收敛到 $\varepsilon$ - stationary点。此外，我们将结果推广至满足 Polyak-{\L}ojasiewicz 条件的函数情形。最后，数值实验表明所提方法有效。