中文

去中心化联邦平均对恶数据内置的鲁棒性

机器学习 2025-06-05 v2 人工智能 分布式、并行与集群计算

摘要

去中心化联邦学习 (DFL) 使设备能够在复杂网络拓扑结构上进行协作训练,而无需依赖中心控制器。在此设置下,本地数据保持私有,但其质量和数量可能在各节点间存在显著差异。fully 去中心化系统对poor-quality 或被篡改数据脆弱性如何仍不清楚,但若干因素可能贡献潜在风险。缺乏中心权威机构,无法建立统一的错误检测或纠正机制,每个节点仅拥有数据分布的局部视图,这使得节点难以判断其视角是否与真实分布一致。此外,基于低质量数据训练的模型可能通过网络传播,从而放大误差。为探讨 low-quality 数据对 DFL 的影响,我们使用去中心化 FedAvg 实现,模拟了两种数据质量下降的场景——一种是被篡改数据在子集节点中均匀分布,另一种是集中在单个节点。我们的结果表明,基于平均值的去中心化学习对局部化恶数据具有惊人的鲁棒性,即使被篡改数据位于网络最具影响力的节点中也毫无问题。令人反意识的是,当被篡改数据集中在单个节点时,鲁棒性甚至会进一步提升, regardless of 其在通信网络拓扑结构中的中心性。这一现象可归因于平均过程确保没有单个节点——无论其中心性如何——都能对整体学习过程产生非比例影响。

关键词

引用

@article{arxiv.2502.18097,
  title  = {The Built-In Robustness of Decentralized Federated Averaging to Bad Data},
  author = {Samuele Sabella and Chiara Boldrini and Lorenzo Valerio and Andrea Passarella and Marco Conti},
  journal= {arXiv preprint arXiv:2502.18097},
  year   = {2025}
}

备注

Accepted at IJCNN 2025. Funding: SoBigData PPP (101079043), SoBigData.it (PNRR IR0000013), FAIR (PNRR PE00000013), RESTART (PNRR PE00000001)