Fed-ensemble：通过联邦学习中的模型集成提升泛化能力
机器学习
2023-07-04 v1 机器学习
摘要
本文提出 Fed-ensemble：一种将模型集成引入联邦学习（FL）的简易方法。Fed-ensemble 不聚合本地模型以更新单一全局模型，而是利用随机置换更新一组 K 个模型，并通过模型平均获得预测。Fed-ensemble 可轻易用于既有 FL 方法中，且不会带来计算开销，因为它在每个通信轮次中仅需将 K 个模型之一发送给客户端。理论上，我们证明在神经正切核机制下，所有 K 个模型对新数据的预测属于同一预测后验分布。该结果进而阐明了模型平均的泛化优势。我们还说明 Fed-ensemble 具有优雅的贝叶斯解释。实证结果表明，我们的模型在广泛数据集上优于多种 FL 算法，并在 FL 应用中常见的异构设定下表现突出。
引用
@article{arxiv.2107.10663,
title = {Fed-ensemble: Improving Generalization through Model Ensembling in Federated Learning},
author = {Naichen Shi and Fan Lai and Raed Al Kontar and Mosharaf Chowdhury},
journal= {arXiv preprint arXiv:2107.10663},
year = {2023}
}