高维空间中快速且鲁棒的分布式学习

分布式机器学习的梯度聚合规则（GAR）能否既鲁棒又快速？本文通过 multi-Bulyan 给出了肯定的回答。给定 $n$ 个工作节点，其中 $f$ 个为任意恶意（拜占庭）节点，$m=n-f$ 个为非恶意节点，我们证明 multi-Bulyan 能够确保一种强形式的拜占庭弹性，以及相对于平均化（分布式机器学习中最快但不具备拜占庭弹性的规则）的 ${\frac{m}{n}}$ 减速比。当 $m \approx n$（几乎所有工作节点均正确）时，multi-Bulyan 达到平均化的速度。我们还证明 multi-Bulyan 的本地计算开销为 $O(d)$（与平均化相同），这是机器学习中 $d$ 通常达到 $10^9$ 时的一项重要特性，而鲁棒替代方案在 $d$ 上的开销至少呈二次增长。我们的理论发现辅以实验评估，除支持线性 $O(d)$ 复杂度论点外，还表明 multi-Bulyan 的可并行性进一步提升了其效率。