重审单轮联邦学习中的集成学习
机器学习
2024-11-12 v1 分布式、并行与集群计算
摘要
联邦学习（FL）是一种无需共享原始数据即可训练机器学习模型的吸引人方法。然而，标准 FL 算法是迭代的，因此会产生显著的通信开销。单轮联邦学习（OFL）用单次通信轮次取代了客户端与服务器之间的模型迭代交换，从而大幅节省通信成本。不出所料，OFL 在准确率方面与 FL 存在性能差距，尤其是在高数据异质性下。我们提出了 FENS，一种新颖的联邦集成方案，它在保持 OFL 通信效率的同时逼近 FL 的准确率。FENS 的学习分两阶段进行：第一阶段，客户端在本地训练模型并发送至服务器，类似于 OFL；第二阶段，客户端利用 FL 协同训练一个轻量级预测聚合器模型。我们通过跨越多个数据集和异质性水平的详尽实验展示了 FENS 的有效性。在异质分布的 CIFAR-10 数据集这一特定情况下，FENS 比最先进（SOTA）OFL 高出高达 26.9% 的准确率，仅比 FL 低 3.1%。同时，FENS 的通信开销至多比 OFL 高 4.3 倍，而 FL 的通信强度至少比 FENS 高 10.9 倍。
引用
@article{arxiv.2411.07182,
title = {Revisiting Ensembling in One-Shot Federated Learning},
author = {Youssef Allouah and Akash Dhasade and Rachid Guerraoui and Nirupam Gupta and Anne-Marie Kermarrec and Rafael Pinot and Rafael Pires and Rishi Sharma},
journal= {arXiv preprint arXiv:2411.07182},
year = {2024}
}
备注
Accepted at NeurIPS 2024