FL-GUARD：一种用于负向联邦学习运行时检测与恢复的整体框架
机器学习
2024-03-08 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习（Federated Learning, FL）是一种无需暴露数据隐私即可从海量客户端分布式数据中学习模型的有前景方法。在客户端共享同质数据分布和学习行为的理想联邦中，该方法行之有效。然而，当联邦非理想时，FL 可能无法正常运行，陷入一种称为“负向联邦学习”（Negative Federated Learning, NFL）的不健康状态，此时大多数客户端无法从参与 FL 中获益。许多研究试图解决 NFL 问题，但其解决方案要么（1）预先设定在整个学习生命周期中防止 NFL，要么（2）在经历大量学习轮次后处理 NFL。因此，这些方法要么（1）即使 FL 无需额外成本也能良好运行时也 indiscriminately 产生额外开销，要么（2）浪费大量学习轮次。此外，以往工作均未考虑在使用这些方案升级现有 FL 系统时，可能存在不愿或无法遵循所提 NFL 解决方案的客户端。本文提出了 FL-GUARD，这是一个可应用于任何 FL 系统以采用运行时范式解决 NFL 的整体框架。即在学习的早期阶段（数十轮）动态检测 NFL，并在必要时激活恢复措施。具体而言，我们设计了一种具有成本效益的 NFL 检测机制，该机制依赖于对客户端性能增益的估计。仅在检测到 NFL 时，我们才激活 NFL 恢复过程，在此过程中，每个客户端在训练全局模型的同时并行学习一个适配模型。大量实验结果证实了 FL-GUARD 在检测 NFL 及从 NFL 恢复至健康学习状态方面的有效性。我们还表明，FL-GUARD 与以往的 NFL 解决方案兼容，并且能够稳健应对不愿或无法采取任何恢复措施的客户端。
引用
@article{arxiv.2403.04146,
title = {FL-GUARD: A Holistic Framework for Run-Time Detection and Recovery of Negative Federated Learning},
author = {Hong Lin and Lidan Shou and Ke Chen and Gang Chen and Sai Wu},
journal= {arXiv preprint arXiv:2403.04146},
year = {2024}
}