平衡相似性与互补性以实现联邦学习
机器学习
2024-05-17 v1 分布式、并行与集群计算
摘要
在移动和物联网系统中，联邦学习（FL）在有效利用数据的同时维护用户隐私方面越来越重要。FL的一个关键挑战是管理统计异质性，例如来自众多客户端和多样化数据源的非独立同分布数据。这需要战略合作，通常与具有相似特征的客户端合作。然而，我们感兴趣的一个基本问题是：实现最优合作是否必然需要与最相似的客户端合作？通常，显著的模型性能改进往往不是通过与最相似的模型合作，而是通过利用互补数据实现的。我们的理论和实证分析表明，最优合作是通过增强特征分布中的互补性，同时限制特征与目标之间相关性的差异来实现的。因此，我们引入了一个新框架FedSaC，它在FL合作中平衡相似性和互补性。我们的框架旨在通过优化模型相似性和特征互补性的加权和，为每个客户端近似最优合作网络。FedSaC的优势在于其适应不同数据异质性和多模态场景的能力。我们全面的单模态和多模态实验表明，FedSaC明显优于其他最先进的FL方法。
引用
@article{arxiv.2405.09892,
title = {Balancing Similarity and Complementarity for Federated Learning},
author = {Kunda Yan and Sen Cui and Abudukelimu Wuerkaixi and Jingfeng Zhang and Bo Han and Gang Niu and Masashi Sugiyama and Changshui Zhang},
journal= {arXiv preprint arXiv:2405.09892},
year = {2024}
}