面向联邦学习的全局干预与蒸馏：处理分布外样本的归一化问题
计算机视觉与模式识别
2025-04-02 v1 人工智能
摘要
属性偏斜会导致联邦学习中的局部模型聚焦于学习非因果关联，从而引导模型采取不一致的优化方向，最终导致性能下降和收敛不稳定。现有方法通常通过数据增强来提高样本多样性，或采用知识蒸馏来学习不变表示。然而，生成数据质量的不稳定性以及缺乏域信息限制了其在未见样本上的表现。为此，本文提出一种全局干预与蒸馏方法，称为 FedGID，通过利用多样化的属性特征进行后门调整，以打破背景与标签之间的虚假关联。该方法包含两个主要模块，其中全局干预模块会自适应地解耦图像中的物体与背景，注入背景信息以干扰样本分布，从而将背景与所有类别关联起来，防止模型将背景-标签关联当作因果关系。全局蒸馏模块则利用统一的知识库指导客户模型的表示学习，防止局部模型对特定客户端的属性过拟合。在三个数据集上的实验结果表明，FedGID 增强了模型在未见数据中关注主体的能力，并在协同建模方面超越了现有方法。
引用
@article{arxiv.2504.00850,
title = {Global Intervention and Distillation for Federated Out-of-Distribution Generalization},
author = {Zhuang Qi and Runhui Zhang and Lei Meng and Wei Wu and Yachong Zhang and Xiangxu Meng},
journal= {arXiv preprint arXiv:2504.00850},
year = {2025}
}