FedSSC：共享监督对比的联邦学习
机器学习
2023-01-18 v1
摘要
联邦学习被广泛用于在多个设备上执行全局模型的去中心化训练，同时保护每个设备的数据隐私。然而，它受到每个训练设备上异构本地数据的困扰，这增加了达到与集中式训练相同精度水平的难度。优于交叉熵的监督对比学习试图最小化属于同一类的点之间的特征空间差异，并将不同类的点推远。我们提出了监督对比联邦学习，其中设备可以相互共享学习到的按类特征空间，并将监督对比学习损失作为正则化项以促进特征空间学习。该损失试图最小化特征图与来自同一类另一设备的平均特征图之间的余弦相似度距离，并最大化特征图与不同类中特征图之间的距离。在 moon 正则化项之上添加这一新正则化项后，被发现优于其他最先进的（SOTA）正则化项，可解决异构数据分布问题。
引用
@article{arxiv.2301.05797,
title = {FedSSC: Shared Supervised-Contrastive Federated Learning},
author = {Sirui Hu and Ling Feng and Xiaohan Yang and Yongchao Chen},
journal= {arXiv preprint arXiv:2301.05797},
year = {2023}
}
备注
5 Pages, 2 figures, conference workshop