面向拜占庭学习的缓冲异步 SGD

分布式学习因其在基于集群的大规模学习、联邦学习、边缘计算等方面的广泛应用而成为热门研究课题。大多数传统分布式学习方法通常假设无故障或攻击。然而，在实际应用中可能发生许多意外情况，例如通信故障甚至恶意攻击。因此，拜占庭学习（BL），即存在故障或攻击的分布式学习，近来备受关注。现有 BL 方法多为同步的，由于 worker 异构或离线，在某些应用中并不实用。在这些情况下，通常更倾向于异步 BL（ABL）。本文提出一种用于 ABL 的新方法，称为缓冲异步随机梯度下降（BASGD）。据我们所知，BASGD 是首个无需在服务器端存储任何样本即可抵御非全知攻击的 ABL 方法。此外，我们通过将动量引入 BASGD，提出了其改进变体，称为带动量的 BASGD（BASGDm）。BASGDm 可抵御非全知与全知两类攻击。与那些需在服务器端存储样本的方法相比，BASGD 与 BASGDm 具有更广的适用范围。BASGD 与 BASGDm 均兼容多种聚合规则。而且，BASGD 与 BASGDm 均被证明收敛且能够抵御故障或攻击。实证结果表明，当 worker 上存在故障或攻击时，我们的方法显著优于现有 ABL 基线。