重思非独立同分布数据下联邦无监督学习中的表示
机器学习
2024-03-26 v1 人工智能
摘要
联邦学习在对分散数据建模方面取得了有效性能。在实践中，客户端数据往往缺乏良好标注，这使得针对非独立同分布数据的联邦无监督学习（FUSL）具有潜力。然而，现有FUSL方法的性能受到表示不足的影响，即：（1）局部与全局模型之间的表示坍缩纠缠，以及（2）局部模型之间不一致的表示空间。前者表明局部模型中的表示坍缩将随后影响全局模型和其他局部模型。后者意味着由于监督信号的缺失，客户端以不一致的参数对数据表示进行建模。在这项工作中，我们提出了FedU2，旨在增强非独立同分布数据下FUSL中统一且一致的表示生成。具体而言，FedU2由灵活的均匀正则化器（FUR）和高效的统一聚合器（EUA）组成。每个客户端中的FUR通过均匀分散样本来避免表示坍缩，而服务器中的EUA通过约束一致的客户端模型更新来促进统一表示。为广泛验证FedU2的性能，我们在两个基准数据集（即CIFAR10和CIFAR100）上进行了跨设备和跨孤岛的评估实验。
引用
@article{arxiv.2403.16398,
title = {Rethinking the Representation in Federated Unsupervised Learning with Non-IID Data},
author = {Xinting Liao and Weiming Liu and Chaochao Chen and Pengyang Zhou and Fengyuan Yu and Huabin Zhu and Binhui Yao and Tao Wang and Xiaolin Zheng and Yanchao Tan},
journal= {arXiv preprint arXiv:2403.16398},
year = {2024}
}
备注
CVPR 2024