分布式牛顿法可减少通信并抵御拜占庭 worker
机器学习
2021-03-19 v1 分布式、并行与集群计算
最优化与控制
机器学习
摘要
我们提出了一种分布式二阶优化算法,该算法兼具通信高效性以及对 worker 机器的拜占庭故障的鲁棒性。我们提出 COMRADE(COMunication-efficient and Robust Approximate Distributed nEwton,通信高效且鲁棒的近似分布式牛顿法),一种迭代式二阶算法,其中 worker 机器每次迭代仅与中心机器通信一次。这与 GIANT [34] 和 DINGO [7] 等最先进的分布式二阶算法形成鲜明对比,后者中 worker 机器依次发送(局部梯度和 Hessian 的)函数;从而每次迭代与中心机器通信两次。此外,我们证明 worker 机器可在将局部信息发送给中心之前进一步压缩该局部信息。另外,我们采用基于范数的简单阈值规则来过滤掉拜占庭 worker 机器。我们确立了 COMRADE 的线性二次收敛速率,并证明通信节省与拜占庭弹性对于任意凸损失函数仅导致很小的统计误差率。据我们所知,这是首个在二阶分布式优化中解决拜占庭弹性问题的研究工作。此外,我们在合成数据与基准 LIBSVM [5] 数据集上通过大量实验验证了我们的理论结果,并展示了收敛保证。
引用
@article{arxiv.2006.08737,
title = {Distributed Newton Can Communicate Less and Resist Byzantine Workers},
author = {Avishek Ghosh and Raj Kumar Maity and Arya Mazumdar},
journal= {arXiv preprint arXiv:2006.08737},
year = {2021}
}