CD$^2$-pFed：用于联邦学习中模型个性化的循环蒸馏引导通道解耦
计算机视觉与模式识别
2022-04-11 v1 机器学习
摘要
联邦学习（FL）是一种分布式学习范式，使多个客户端能够协作学习一个共享的全局模型。尽管近期取得了进展，处理异构数据客户端仍然具有挑战性，因为差异化的数据分布通常阻碍全局模型在每个参与客户端上具备良好的泛化能力。在本文中，我们提出 CD^2-pFed，一种新颖的循环蒸馏引导通道解耦框架，用于在 FL 中于各种数据异构设置下对全局模型进行个性化。与先前建立逐层个性化以克服不同客户端间非独立同分布（non-IID）数据的工作不同，我们首次尝试通过通道级分配实现模型个性化，称为通道解耦。为了进一步促进私有权重与共享权重之间的协作，我们提出一种新颖的循环蒸馏方案，在联邦过程中对局部与全局模型表征之间施加一致性正则化。在循环蒸馏的引导下，我们的通道解耦框架能够为不同类型异构（如特征偏斜、标签分布偏斜和概念偏移）提供更准确且泛化的结果。在包括自然图像和医学图像分析任务在内的四个基准上的综合实验，证明了我们的方法在局部和外部验证上的一致有效性。
引用
@article{arxiv.2204.03880,
title = {CD$^2$-pFed: Cyclic Distillation-guided Channel Decoupling for Model Personalization in Federated Learning},
author = {Yiqing Shen and Yuyin Zhou and Lequan Yu},
journal= {arXiv preprint arXiv:2204.03880},
year = {2022}
}
备注
Accepted by CVPR2022