面向分布式学习的选举编码：保护SignSGD抵御拜占庭攻击
信息论
2020-10-27 v4 分布式、并行与集群计算
机器学习
math.IT
摘要
大规模分布式学习算法近期进展已通过SignSGD实现了通信高效的训练。遗憾的是，分布式学习仍受一个主要问题困扰：即拜占庭故障可能导致学习精度严重下降。本文提出选举编码（Election Coding），一种编码理论框架，用以保障采用多数投票的SignSGD的拜占庭鲁棒性，该方案在双向均使用最小的工人—主节点通信量。所提框架探索了在部分工人可能恶意时确定多数意见的信息论新极限，并为实施鲁棒高效的分布式学习算法铺平道路。在此框架下，我们构造了两类显式码：随机伯努利码与确定性代数码，它们能以受控的计算冗余量容忍拜占庭攻击。对于伯努利码，我们给出了估计多数意见时错误概率的上界，为容忍拜占庭攻击的码设计提供了有益见解。至于确定性码，我们构造了一种可完美容忍拜占庭节点的显式码，并给出了所需最小计算冗余量的紧上界/下界。最后，所提编码方案的拜占庭容忍性通过在Amazon EC2上使用Python与MPI4py包进行的深度学习实验得到验证。
引用
@article{arxiv.1910.06093,
title = {Election Coding for Distributed Learning: Protecting SignSGD against Byzantine Attacks},
author = {Jy-yong Sohn and Dong-Jun Han and Beongjun Choi and Jaekyun Moon},
journal= {arXiv preprint arXiv:1910.06093},
year = {2020}
}
备注
Accepted at NeurIPS 2020