仅使用正标签的联邦学习
机器学习
2020-04-23 v1 机器学习
摘要
我们考虑在联邦设置中学习一个多类分类模型，其中每个用户只能访问与单一类别相关联的正类数据。因此，在每一轮联邦学习中，用户需要在无法访问负类特征与模型参数的情况下本地更新分类器。因此，朴素地采用传统的去中心化学习（如分布式 SGD 或 Federated Averaging）可能导致平凡或极差的分类器。特别地，对于基于嵌入的分类器，所有类嵌入可能坍缩至同一点。为解决该问题，我们提出了一种仅使用正标签训练的通用框架，即带 Spreadout 的联邦平均 (FedAwS)，其中服务器在每轮后施加几何正则化器以鼓励类在嵌入空间中分散。我们从理论与实证两方面表明，FedAwS 几乎可匹配用户能访问负标签的传统学习的性能。我们进一步将所提方法扩展至具有大输出空间的环境。
引用
@article{arxiv.2004.10342,
title = {Federated Learning with Only Positive Labels},
author = {Felix X. Yu and Ankit Singh Rawat and Aditya Krishna Menon and Sanjiv Kumar},
journal= {arXiv preprint arXiv:2004.10342},
year = {2020}
}