FedSC：基于谱对比目标的可证明联邦自监督学习在非独立同分布数据上的应用
机器学习
2024-05-08 v1 密码学与安全
信号处理
摘要
最近的研究努力将自监督学习（SSL）集成到联邦学习（FL）框架中。联邦自监督学习（FedSSL）的独特挑战在于，FedSSL的全局目标通常不等于各地方SSL目标的加权和。因此，诸如联邦平均（FedAvg）等常规方法往往无法精确最小化FedSSL全局目标，尤其在数据非独立同分布时，常常导致次优性能。为填补这一空白，我们提出一种可证明的FedSSL算法，称为FedSC，基于谱对比目标。在FedSC中，客户端定期共享数据表示的相关矩阵，以除模型权重之外的其他方式进行通信，这使得除了局部对比和收敛之外，还能实现跨客户端的数据样本对比，从而提高数据表示的质量。我们部署了差分隐私（DP）保护，以控制在共享相关矩阵时对本地数据集的额外隐私泄露。我们还对收敛性和额外隐私泄露进行了理论分析。实验结果验证了我们所提出算法的有效性。
引用
@article{arxiv.2405.03949,
title = {FedSC: Provable Federated Self-supervised Learning with Spectral Contrastive Objective over Non-i.i.d. Data},
author = {Shusen Jing and Anlan Yu and Shuai Zhang and Songyang Zhang},
journal= {arXiv preprint arXiv:2405.03949},
year = {2024}
}