面向联邦学习的松弛对比学习
机器学习
2024-06-03 v2
摘要
我们提出了一种新颖的对比学习框架，以有效应对联邦学习中的数据异质性挑战。我们首先分析了本地训练期间各客户端梯度更新的不一致性，并确立了其与特征表示分布的依赖关系，从而推导出监督对比学习（SCL）目标以减轻本地偏差。此外，我们表明在联邦学习中直接采用SCL会导致表示坍缩，造成收敛缓慢和性能提升有限。为解决此问题，我们引入了一种松弛对比学习损失，对每个类别内过于相似的样本对施加散度惩罚。该策略防止了表示坍缩并增强了特征可迁移性，促进了协作训练并带来了显著的性能提升。通过广泛的实验结果，我们的框架在标准基准测试上以巨大优势超越了所有现有的联邦学习方法。
引用
@article{arxiv.2401.04928,
title = {Relaxed Contrastive Learning for Federated Learning},
author = {Seonguk Seo and Jinkyu Kim and Geeho Kim and Bohyung Han},
journal= {arXiv preprint arXiv:2401.04928},
year = {2024}
}