面向非独立同分布联邦学习的数据无关知识蒸馏全局模型微调
机器学习
2023-10-27 v2 计算机视觉与模式识别
摘要
联邦学习（FL）是一种在隐私约束下新兴的分布式学习范式。数据异构性是 FL 的主要挑战之一，其导致收敛缓慢与性能下降。大多数现有方法仅通过在客户端限制局部模型更新来应对异构性挑战，忽视了直接全局模型聚合引起的性能下降。相反，我们提出一种数据无关知识蒸馏方法，在服务器端微调全局模型（FedFTG），以缓解直接模型聚合的问题。具体而言，FedFTG 通过生成器探索局部模型的输入空间，并利用其将知识从局部模型迁移至全局模型。此外，我们提出困难样本挖掘方案，以在整个训练过程中实现有效的知识蒸馏。另外，我们开发了定制标签采样与类级集成，以最大程度利用知识，从而隐式缓解客户端间的分布差异。大量实验表明，我们的 FedFTG 显著优于最先进的（SOTA）FL 算法，并可作为增强 FedAvg、FedProx、FedDyn 和 SCAFFOLD 的强力插件。
引用
@article{arxiv.2203.09249,
title = {Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning},
author = {Lin Zhang and Li Shen and Liang Ding and Dacheng Tao and Ling-Yu Duan},
journal= {arXiv preprint arXiv:2203.09249},
year = {2023}
}
备注
This paper is accepted by CVPR2022