大胆而谨慎：通过谨慎激进的协作释放个性化联邦学习的潜力
机器学习
2023-09-21 v1
摘要
个性化联邦学习（PFL）通过允许每个客户端在与他人协作时训练个性化模型，来降低客户端间非独立同分布（non-IID）数据的影响。PFL 中的一个关键问题是决定客户端的哪些参数应当本地化或与他人共享。在当前主流方法中，所有对 non-IID 数据敏感的层（如分类器层）通常被个性化。该方法背后的推理是可理解的，因为本地化易受 non-IID 数据影响的参数可以防止协作的潜在负面效应。然而，我们认为这种协作方式过于保守。例如，对于某个客户端，即使其参数易受 non-IID 数据影响，它仍可通过与具有相似数据分布的客户端共享这些参数而获益。这一观察强调了在决定 PFL 中哪些参数应本地化时，不仅考虑对 non-IID 数据的敏感性，还要考虑数据分布相似性的重要性。本文引入了 PFL 中客户端协作的新指导方针。与现有禁止所有敏感参数协作的方法不同，我们的方针允许客户端与他人共享更多参数，从而提升模型性能。此外，我们提出了一种名为 FedCAC 的新 PFL 方法，它采用定量度量来评估每个参数对 non-IID 数据的敏感性，并基于此评估谨慎选择协作者。实验结果表明，FedCAC 使客户端能与他人共享更多参数，取得了优于最先进方法的性能，尤其在客户端具有多样分布的场景中。
引用
@article{arxiv.2309.11103,
title = {Bold but Cautious: Unlocking the Potential of Personalized Federated Learning through Cautiously Aggressive Collaboration},
author = {Xinghao Wu and Xuefeng Liu and Jianwei Niu and Guogang Zhu and Shaojie Tang},
journal= {arXiv preprint arXiv:2309.11103},
year = {2023}
}
备注
Accepted by ICCV2023