超越梯度的拜占庭弹性学习：分布式进化搜索

现代机器学习（ML）模型能够取得令人印象深刻的性能。然而，其能力不仅源于架构与训练算法的改进，也源于用于训练它们的计算能力的急剧增加。这种急剧增加导致了对分布式 ML 的日益关注，进而使工作者故障与对抗攻击成为日益紧迫的问题。尽管已在可微设置下提出分布式拜占庭弹性算法，但在无梯度设置下尚不存在此类算法。本工作的目标正是弥补这一不足。为此，我们引入了 ML 中更通用的拜占庭弹性定义——模型共识（model-consensus），其扩展了经典分布式共识的定义。然后我们利用该定义表明，一类通用的无梯度 ML 算法——$(1,\lambda)$-进化搜索（Evolutionary Search）——可与经典分布式共识算法结合，以生成无梯度的拜占庭弹性分布式学习算法。我们给出了两种具体情形——全序广播（Total Order Broadcast）与工作量证明领导者选举——的证明与伪代码。