面向去中心化联邦学习的拜占康鲁奇鲁棒性

联邦学习 (FL) 使多个客户端能够在不透露私人训练数据的情况下协作训练机器学习模型。在传统 FL 中，系统遵循 server-assisted architecture，其中训练过程由中心服务器协调。然而，server-assisted FL 框架因 server 处的通信瓶颈和 trust dependency 问题而表现出差异的可扩展性。为解决这些挑战，提出了去中心化联邦学习 (DFL) architecture，允许客户端以无服务器和点对点的方式协作训练模型。然而，由于其完全去中心化的 nature，DFL 对 poisoning attack 极其脆弱，恶意客户端可以通过发送精心设计的 local model 到其 neighboring clients 来操纵系统。迄今为止，仅提出了有限数量的 Byzantine-robust DFL 方法，其中大多数要么 communication-inefficient，要么对 advanced poisoning attack 仍不完善。本文提出一种新算法称为 BALANCE (Byzantine-robust averaging through local similarity in decentralization)，以防御 DFL 中的 poisoning attack。在 BALANCE 中，每个客户端利用其 own local model 作为 similarity reference 来 determine if the received model 是 malicious 还是 benign。我们在 strongly convex 和 non-convex setting 下建立了 BALANCE 在 poisoning attack 下的理论收敛保证。此外，BALANCE 在 poisoning attack 下的收敛 rate 与 state-of-the-art counterparts 在 Byzantine-free setting 下的收敛 rate 一致。大量实验也表明，BALANCE 在现有 DFL 方法中表现更出色，有效防御了 poisoning attack。