基于区组设计缓解对抗性掉队者的梯度编码

基于梯度方法的分布式实现中，服务器将梯度计算分配给工作机器，但会受到运行缓慢的机器（称为“掉队者”）的影响。梯度编码是一种编码理论框架，通过使服务器在存在掉队者的情况下能够恢复梯度之和来缓解掉队者问题。“近似梯度编码”是梯度编码的变体，通过允许服务器近似重构梯度之和，降低了每个工作机器的计算和存储开销。本文的目标是构造能够抵御由计算无界敌手所选掉队者的近似梯度编码。我们构造此类代码以缓解对抗性掉队者的动机源于在大规模弹性和无服务器系统中应对掉队者的挑战，其中难以对掉队者进行统计建模。为此，我们提出了一类基于平衡不完全区组设计（BIBDs）的近似梯度编码。我们证明这些编码的近似误差仅依赖于掉队者的数量，因此对抗性掉队者选择相对于随机选择并无优势。此外，所提编码在服务器端支持计算高效的解码。接下来，为刻画对抗性掉队的基本极限，我们考虑“对抗阈值”的概念——即敌手必须使其掉队以造成特定近似误差的最小工作机器数。我们计算了对抗阈值的下界，并证明基于对称 BIBD 的编码在广泛的一类编码中使该下界最大化，使其成为缓解对抗性掉队者的极佳候选。