Bristle：拜占庭、非独立同分布环境下的去中心化联邦学习
分布式、并行与集群计算
2021-10-22 v1 机器学习
摘要
联邦学习（FL）是一种隐私友好的机器学习类型，设备在其私有数据上本地训练模型，并通常与服务器通信模型更新。在去中心化 FL（DFL）中，对等节点彼此通信模型更新。然而，DFL 具有挑战性，因为（1）不同对等节点拥有的训练数据常常是非独立同分布（即在对等节点间分布不同）的，且（2）恶意或拜占庭攻击者可以与其他对等节点共享任意模型更新以破坏训练过程。我们应对这两大挑战并提出了 Bristle，即学习应用与去中心化网络层之间的中间件。Bristle 利用迁移学习预先确定并冻结神经网络的输出层以外的层，显著加速模型训练并降低通信成本。为利用来自其他对等节点的模型更新安全更新输出层，我们设计了一种快速的基于距离的优先级排序器与一种新颖的基于性能的整合器。它们的联合效应带来对拜占庭攻击者的高鲁棒性以及处理非独立同分布类别的能力。我们实证表明，Bristle 在拜占庭环境下收敛至稳定的 95% 准确率，优于所有被评估的基线。在非拜占庭环境中，与最先进方法相比，Bristle 达到 90% 准确率所需迭代次数减少 83%。我们表明当训练类别为非独立同分布时，Bristle 以 2.3 倍显著优于最具拜占庭鲁棒性的基线的准确率，同时将通信成本降低 90%。
引用
@article{arxiv.2110.11006,
title = {Bristle: Decentralized Federated Learning in Byzantine, Non-i.i.d. Environments},
author = {Joost Verbraeken and Martijn de Vos and Johan Pouwelse},
journal= {arXiv preprint arXiv:2110.11006},
year = {2021}
}