可泛化的异构联邦交叉相关与实例相似度学习
机器学习
2023-09-29 v1 人工智能
摘要
联邦学习是一种重要的隐私保护多方学习范式，涉及与他人协作学习以及在私有数据上的本地更新。模型异构性与灾难性遗忘是两个关键挑战，极大限制了适用性与可泛化性。本文提出一种新颖的 FCCL+，即带有非目标蒸馏的联邦相关与相似度学习，促进域内可判别性与域间泛化能力。针对异构问题，我们利用无关的无标签公共数据用于异构参与者之间的通信。我们构建交叉相关矩阵并在 logits 与特征层面上对齐实例相似度分布，有效克服了通信障碍并提升了泛化能力。针对本地更新阶段的灾难性遗忘，FCCL+ 引入了联邦非目标蒸馏（Federated Non Target Distillation），在保留域间知识的同时避免优化冲突问题，通过刻画后验类别关系充分蒸馏特权域间信息。考虑到目前缺乏在相同设定下评估现有异构联邦学习的标准基准，我们提出了一个综合基准，涵盖四种域偏移场景下的广泛代表性方法，支持异构与同构联邦设定。实证结果证明了我们的方法以及各种场景下模块的有效性。
引用
@article{arxiv.2309.16286,
title = {Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning},
author = {Wenke Huang and Mang Ye and Zekun Shi and Bo Du},
journal= {arXiv preprint arXiv:2309.16286},
year = {2023}
}