FedDTG：基于三玩家生成对抗网络的联邦无数据知识蒸馏
机器学习
2025-07-01 v5
摘要
尽管现有的联邦学习方法主要关注聚合本地模型以构建全局模型，但在实际场景中，部分客户端可能因包含隐私敏感信息而不愿共享其私有模型。知识蒸馏能够在不访问模型参数的情况下提取模型知识，非常适用于此类联邦场景。然而，大多数联邦学习中的蒸馏方法（联邦蒸馏）需要代理数据集，而这在现实世界中难以获取。因此，本文引入一种分布式三玩家生成对抗网络（GAN）以实现无数据互蒸馏，并提出一种名为 FedDTG 的有效方法。我们证实，由 GAN 生成的伪样本能够使联邦蒸馏更高效且更鲁棒。此外，客户端之间的蒸馏过程在获取全局知识并保护数据隐私的同时，可带来良好的单个客户端性能。我们在基准视觉数据集上的大量实验表明，我们的方法在泛化性方面优于其他联邦蒸馏算法。
引用
@article{arxiv.2201.03169,
title = {FedDTG:Federated Data-Free Knowledge Distillation via Three-Player Generative Adversarial Networks},
author = {Lingzhi Gao and Zhenyuan Zhang and Chao Wu},
journal= {arXiv preprint arXiv:2201.03169},
year = {2025}
}