FedCCL: 域异质性下的联邦双聚类特征对比
计算机视觉与模式识别
2024-09-12 v2 人工智能
摘要
联邦学习(FL)通过边缘客户端与中央服务器之间的协作，提供了一种保护隐私的神经网络训练范式。一个重大挑战是分布式数据并非独立同分布(non-IID)，通常包括域内和域间异质性。然而，最近的研究仅限于使用平均信号作为正则化形式，并且只关注这些non-IID挑战的一个方面。鉴于这些局限性，本文阐明了这两个non-IID挑战，并尝试从局部和全局角度引入聚类表示来解决它们。具体来说，我们提出了一个具有双重关注点的基于双聚类特征对比的FL框架。首先，我们对每个客户端的局部表示进行聚类，旨在基于这些局部聚类以高粒度捕获类内信息。然后，我们通过将局部表示拉近到具有相似语义的客户端共享的聚类，同时推离具有不同语义的聚类，来促进跨客户端知识共享。其次，由于属于同一类的局部聚类的大小可能因客户端而异，我们进一步在全局侧利用聚类并进行平均，以创建一致的全局信号，以对比方式指导每个局部训练。在多个数据集上的实验结果表明，我们的方法在域内和域间异质性下取得了相当或更优的性能提升。
引用
@article{arxiv.2404.09259,
title = {FedCCL: Federated Dual-Clustered Feature Contrast Under Domain Heterogeneity},
author = {Yu Qiao and Huy Q. Le and Mengchun Zhang and Apurba Adhikary and Chaoning Zhang and Choong Seon Hong},
journal= {arXiv preprint arXiv:2404.09259},
year = {2024}
}
备注
This work was accepted by Information Fusion Journal