如何协作：迈向跨孤岛联邦学习中泛化性能的最大化
机器学习
2024-12-02 v2 分布式、并行与集群计算
摘要
联邦学习（FL）作为一种保护隐私的分布式学习框架，引起了广泛关注。在本工作中，我们关注跨孤岛 FL，其中客户端在训练后成为模型所有者，并且只关心模型在其本地数据上的泛化性能。由于数据异构性问题，要求所有客户端加入单一的 FL 训练过程可能导致模型性能下降。为了研究协作的有效性，我们首先推导了每个客户端在与其他客户端协作或独立训练时的泛化界限。我们表明，只有与拥有更多训练数据且数据分布相似的其他客户端协作，才能提高客户端的泛化性能。我们的分析允许我们通过将客户端划分为多个协作组来构建客户端效用最大化问题。随后提出了一种基于层次聚类的协作训练（HCCT）方案，该方案不需要预先固定组的数量。我们进一步分析了 HCCT 在一般非凸损失函数下的收敛性，揭示了客户端间数据相似性的影响。大量仿真表明，HCCT 比基线方案实现了更好的泛化性能，而在特定场景下它会退化为独立训练和传统 FL。
引用
@article{arxiv.2401.13236,
title = {How to Collaborate: Towards Maximizing the Generalization Performance in Cross-Silo Federated Learning},
author = {Yuchang Sun and Marios Kountouris and Jun Zhang},
journal= {arXiv preprint arXiv:2401.13236},
year = {2024}
}