通过探索标签相关性实现仅正标签的联邦学习
机器学习
2024-04-25 v1 密码学与安全
摘要
联邦学习旨在受隐私限制下利用来自多个用户的数据协同训练模型。本文研究了在联邦学习设置下进行的多标签分类问题，其中当每个客户端仅提供单个类别标签的正样本时，可能得到平凡解或极差的性能。为此问题提供的解决方案是服务器端添加特定设计的正则化项。尽管此方法有时有效，但标签相关性被简单忽略，从而可能导致次优性能。此外，在对比学习方式下频繁交换用户私有嵌入在成本和安全性方面都存在挑战。为缓解这些缺陷，我们提出一种新颖且通用的方法，称为探索标签相关性的联邦平均（FedALC）。具体而言，FedALC 在不同标签对的类嵌入学习中估计标签相关性，并利用其改进模型训练。进一步为提高安全性和降低通信开销，我们提出一种变体，用于学习每个客户端的固定类嵌入，以便服务器和客户端只需交换类嵌入一次。在多个流行数据集上的大量实验表明，FedALC 能显著超越现有方法。
引用
@article{arxiv.2404.15598,
title = {Federated Learning with Only Positive Labels by Exploring Label Correlations},
author = {Xuming An and Dui Wang and Li Shen and Yong Luo and Han Hu and Bo Du and Yonggang Wen and Dacheng Tao},
journal= {arXiv preprint arXiv:2404.15598},
year = {2024}
}
备注
To be published in IEEE Transactions on Neural Networks and Learning Systems