基于动量弹性平均的简易拜占庭机器学习

拜占庭弹性已成为分布式机器学习社区中的突出课题。本质上，其目标是在增强分布式优化算法（如分布式 SGD）时，保证即便存在一些行为异常（亦称 {\em 拜占庭}）的工作节点也能收敛。尽管已提出大量应对该问题的技术，该领域可谓立足于脆弱的基础。这些技术难以证明正确，且依赖的假设（a）颇不现实，即常在实践中被违背，以及（b）异构，即难以比较各方法。我们提出 \emph{RESAM（RESilient Averaging of Momentums，动量弹性平均）}，一个统一框架，仅依赖标准机器学习假设即可简便地建立最优拜占庭弹性。我们的框架主要由两个算子组成：服务器端的 \emph{弹性平均} 与 worker 端的 \emph{分布式动量}。我们证明了一个通用定理，陈述了 RESAM 下分布式 SGD 的收敛性。有趣的是，许多已有技术的收敛性展示与比较成为我们定理的直接推论，而无需诉诸严苛假设。我们还给出了 RESAM 实际相关性的经验评估。