DFRD：面向异构联邦学习的数据无关鲁棒性蒸馏
计算机视觉与模式识别
2023-10-10 v2 机器学习
摘要
联邦学习（FL）是一种隐私受限的分布式机器学习范式，其中客户端在不泄露私有数据的前提下实现协同训练。然而，如何在数据异构与模型异构的 FL 场景中学习鲁棒全局模型具有挑战性。为此，我们借助数据无关知识蒸馏提出一种新的 FL 方法（即 DFRD）。DFRD 在服务器端配备一个条件生成器以近似客户端上传的本地模型的训练空间，并从保真度、可迁移性与多样性方面系统研究其训练。为克服生成器跨通信轮的分布偏移所引起的全局模型灾难性遗忘，我们在服务器端维护生成器的指数移动平均副本。此外，我们提出动态加权与标签采样以从本地模型准确提取知识。最后，我们在多种图像分类任务上的大量实验表明，DFRD 相较 SOTA 基线取得了显著性能提升。
引用
@article{arxiv.2309.13546,
title = {DFRD: Data-Free Robustness Distillation for Heterogeneous Federated Learning},
author = {Kangyang Luo and Shuai Wang and Yexuan Fu and Xiang Li and Yunshi Lan and Ming Gao},
journal= {arXiv preprint arXiv:2309.13546},
year = {2023}
}
备注
Published as a conference paper at NeurIPS 2023