DENSE：无数据一次性联邦学习
机器学习
2022-11-22 v2 计算机视觉与模式识别
摘要
一次性联邦学习（FL）近来成为一种有前景的方法，它允许中心服务器在单轮通信中训练模型。尽管通信成本很低，现有的一次性FL方法大多不实用或存在固有局限，例如需要公共数据集、客户端模型同质、需上传额外数据/模型信息。为克服这些问题，我们提出一种新颖的两阶段无数据一次性联邦学习（DENSE）框架，通过数据生成阶段与模型蒸馏阶段训练全局模型。DENSE是一种可实际应用于现实的一次性FL方法，具有以下优势：（1）与其他方法相比，DENSE不需要客户端与服务器间传输额外信息（模型参数除外）；（2）DENSE不需要任何辅助数据集进行训练；（3）DENSE考虑了FL中的模型异构性，即不同客户端可具有不同模型架构。在多种真实世界数据集上的实验证明了本方法的优越性。例如在CIFAR10数据集上，DENSE比最佳基线方法Fed-ADI高出5.08%。
引用
@article{arxiv.2112.12371,
title = {DENSE: Data-Free One-Shot Federated Learning},
author = {Jie Zhang and Chen Chen and Bo Li and Lingjuan Lyu and Shuang Wu and Shouhong Ding and Chunhua Shen and Chao Wu},
journal= {arXiv preprint arXiv:2112.12371},
year = {2022}
}
备注
Accepted by NeurIPS 2022