Holdout SGD：拜占庭容忍的联邦学习
分布式、并行与集群计算
2020-08-12 v1 机器学习
摘要
本工作提出了一种用于随机梯度下降（SGD）优化的新型分布式拜占庭容忍联邦学习算法 HoldOut SGD。HoldOut SGD 以分布式方式使用众所周知的机器学习技术——留出估计，以选择可能产生低损失值模型的参数更新。这使得它比现有在所学模型的参数空间中消除离群值的方法更能有效地丢弃拜占庭工作者的输入。HoldOut SGD 首先随机选取一组工作者，利用其私有数据提出梯度更新。接下来，随机选取一个工作者投票委员会，每位投票者使用其私有数据作为留出数据，通过投票方案选择最佳提案。我们提出了两种用于 HoldOut SGD 分布式计算中工作者协调的机制。第一种使用诚实的中心服务器，对应于当前联邦学习的典型设置。第二种是完全分布式的，不需要中心服务器，为完全去中心化联邦学习铺平了道路。完全分布式版本通过来自区块链领域的思想实现 HoldOut SGD，特别是 Algorand 委员会选择和共识过程。我们提供了 HoldOut SGD 过程的正式保证，包括其收敛到最优模型的程度以及其对拜占庭工作者比例的恢复能力。实证评估表明，只要参与工作者的总数足够大且拜占庭工作者比例小于一半（完全分布式变体为 <1/3），HoldOut SGD 就能抵抗拜占庭攻击并高效收敛到用于深度学习任务的有效模型。
引用
@article{arxiv.2008.04612,
title = {Holdout SGD: Byzantine Tolerant Federated Learning},
author = {Shahar Azulay and Lior Raz and Amir Globerson and Tomer Koren and Yehuda Afek},
journal= {arXiv preprint arXiv:2008.04612},
year = {2020}
}
备注
12 pages, 2 figures