面向分布式概念漂移下联邦学习的分类器聚类与特征对齐
机器学习
2024-10-25 v1
摘要
数据异构性是联邦学习中的关键挑战之一，许多工作致力于解决此问题。然而，数据异构性下的分布式概念漂移（客户端可能额外经历不同的概念漂移）是一个很大程度上未被探索的领域。本文聚焦于真实漂移，即条件分布 发生变化。我们首先研究分布式概念漂移如何影响模型训练，发现局部分类器在漂移适应中起着关键作用。此外，为了解决数据异构性，我们研究了分布式概念漂移下的特征对齐，并发现了对特征对齐至关重要的两个因素：条件分布 和数据异构程度。受上述发现启发，我们提出 FedCCFA，一个具有分类器聚类和特征对齐的联邦学习框架。为了增强分布式概念漂移下的协作，FedCCFA 在类级别对局部分类器进行聚类，并根据聚类结果生成聚类特征锚点。借助这些锚点，FedCCFA 基于标签分布 的熵自适应地对齐客户端的特征空间，缓解特征空间的不一致性。我们的结果表明，FedCCFA 在各种概念漂移设置下显著优于现有方法。代码可在 https://github.com/Chen-Junbao/FedCCFA 获取。
引用
@article{arxiv.2410.18478,
title = {Classifier Clustering and Feature Alignment for Federated Learning under Distributed Concept Drift},
author = {Junbao Chen and Jingfeng Xue and Yong Wang and Zhenyan Liu and Lu Huang},
journal= {arXiv preprint arXiv:2410.18478},
year = {2024}
}