基于复制树的有限数据联邦学习
机器学习
2023-12-29 v1
摘要
鉴于深度神经网络在使用大量样本训练时能达到最优性能，从有限数据中学习已在机器学习领域得到广泛研究。尽管针对集中式训练已提出多种策略，但关于小数据集的联邦学习主题仍有待深入探索。此外，在现实场景（如涉及医疗机构的设置）中，参与客户端的数量也受到限制。在本工作中，我们提出了一种名为 RepTreeFL 的新型联邦学习框架。该方案的核心是“复制”概念，即通过复制每个参与客户端的模型架构并扰动其本地数据分布来生成复制品。我们的方法通过聚合具有不同数据分布的大量模型，实现了在数据量和客户端数量均有限的情况下的学习。此外，我们利用客户端网络（包括原始和虚拟客户端）的层次结构以及复制品间的模型多样性，提出了一种基于多样性的树形聚合方法，其中复制品以树状方式组合，且聚合权重根据模型差异动态更新。我们在图生成和图像分类（二分类和多分类）两项任务及两种数据类型上评估了该方法，并采用了同构和异构模型架构。实验结果表明，RepTreeFL 在数据和客户端均受限的设置中具有显著的有效性和优越性能。我们的代码可在 https://github.com/basiralab/RepTreeFL 获取。
引用
@article{arxiv.2312.17159,
title = {Replica Tree-based Federated Learning using Limited Data},
author = {Ramona Ghilea and Islem Rekik},
journal= {arXiv preprint arXiv:2312.17159},
year = {2023}
}