FedDistill：非独立同分布联邦学习中用于局部模型去偏的全局模型蒸馏

联邦学习（FL）是一种新颖的方法，它通过利用在分散设备上训练的模型，在保护数据隐私的同时实现协作机器学习。然而，由于客户端数据分布不均匀（非独立同分布），FL面临挑战，这影响了模型性能及其泛化能力。为了解决非独立同分布问题，最近的工作利用全局模型作为局部模型的教学机制。然而，我们的初步研究表明，它们的有效性受到不平衡数据分布的限制，这会在局部模型中引入偏差，并导致“局部遗忘”现象，即模型的泛化能力随时间下降，特别是对于代表性不足的类别。本文介绍了FedDistill，一个增强从全局模型到局部模型知识迁移的框架，重点关注类别分布不平衡问题。具体来说，FedDistill采用分组蒸馏，根据局部数据集中类别的频率对其进行分割，以促进对样本较少类别的聚焦蒸馏过程。此外，FedDistill将全局模型分解为特征提取器和分类器。这种分离使局部模型具有更通用的数据表示能力，并确保对所有类别进行更准确的分类。FedDistill减轻了数据不平衡的不利影响，确保局部模型不会遗忘代表性不足的类别，反而能更熟练地识别和准确分类它们。我们的综合实验证明了FedDistill的有效性，在多个基准数据集上，其在准确性和收敛速度方面均超越了现有基线。