面向结构化非独立同分布联邦学习的多级加性建模
机器学习
2024-05-28 v1
摘要
联邦学习（FL）的主要挑战是对客户端之间的非独立同分布（non-IID）分布进行建模，其细粒度结构对于改进知识共享非常重要。例如，某些知识在所有客户端之间全局共享，某些知识仅可在客户端子组内转移，而某些知识是客户端特定的。为了捕获和利用这种结构，我们训练了组织成多级结构的模型，称为“多级加性模型（MAM）”，以在异构客户端之间实现更好的知识共享及其个性化。在联邦MAM（FeMAM）中，每个客户端每层最多被分配一个模型，其个性化预测是所有层分配给它的模型输出的总和。对于顶层，FeMAM训练一个由所有客户端共享的全局模型，类似于FedAvg。对于每个中间层，它学习多个模型，每个模型分配给一个客户端子组，类似于聚类FL。每个底层模型仅为一个客户端训练。在训练目标中，每个模型旨在最小化分配给每个客户端的其他模型的加性预测的残差。为了近似客户端之间非IID的任意结构，FeMAM通过增量地向每个客户端的预测添加新模型并在必要时重新分配另一个模型，自动优化知识共享结构，从而为FL引入了更多的灵活性和自适应性。大量实验表明，FeMAM在各种非IID设置中超越了现有的聚类FL和个性化FL方法。我们的代码可在 https://github.com/shutong043/FeMAM 获取。
引用
@article{arxiv.2405.16472,
title = {Multi-Level Additive Modeling for Structured Non-IID Federated Learning},
author = {Shutong Chen and Tianyi Zhou and Guodong Long and Jie Ma and Jing Jiang and Chengqi Zhang},
journal= {arXiv preprint arXiv:2405.16472},
year = {2024}
}