通过数据和集成协同提升增强单次联邦学习
机器学习
2024-02-26 v1
摘要
单次联邦学习（OFL）已成为一种有前景的学习范式，能够通过单轮通信训练全局服务器模型。在OFL中，服务器模型通过从所有客户端模型（集成）中蒸馏知识来聚合，这些客户端模型也负责合成用于蒸馏的样本。在这方面，先进的工作表明服务器模型的性能与合成数据和集成模型的质量内在相关。为了促进OFL，我们引入了一个新颖的框架——协同提升（Co-Boosting），其中合成数据和集成模型相互逐步增强。具体来说，Co-Boosting利用当前的集成模型以对抗方式合成更高质量的样本。然后利用这些困难样本通过调整每个客户端模型的集成权重来提升集成模型的质量。因此，Co-Boosting周期性地获得高质量的数据和集成模型。大量实验表明，Co-Boosting在各种设置下可以显著优于现有基线。此外，Co-Boosting无需调整客户端的本地训练，无需额外的数据或模型传输，并允许客户端模型具有异构架构。
引用
@article{arxiv.2402.15070,
title = {Enhancing One-Shot Federated Learning Through Data and Ensemble Co-Boosting},
author = {Rong Dai and Yonggang Zhang and Ang Li and Tongliang Liu and Xun Yang and Bo Han},
journal= {arXiv preprint arXiv:2402.15070},
year = {2024}
}
备注
To be published in ICLR2024