联邦无监督表示学习
机器学习
2020-10-20 v1 人工智能
摘要
为了利用分布式边缘设备上大量的无标签数据，我们提出了联邦学习中的一个新问题，称为联邦无监督表示学习（FURL），以在无监督的情况下学习通用表示模型，同时保护数据隐私。FURL 带来了两个新挑战：（1）客户端之间的数据分布偏移（非独立同分布）会使本地模型关注不同类别，导致表示空间不一致。（2）由于 FURL 中客户端间缺乏统一信息，跨客户端的表示会对齐失调。为应对这些挑战，我们提出了带字典与对齐的联邦对比平均（FedCA）算法。FedCA 由两个关键模块组成：（1）字典模块，聚合各客户端样本表示并与所有客户端共享，以保持表示空间一致性；（2）对齐模块，在公共数据上训练的基础模型上对齐各客户端的表示。我们采用对比损失进行本地模型训练。通过在独立同分布和非独立同分布设置下采用三种评估协议的广泛实验，我们证明了 FedCA 以显著优势优于所有基线。
引用
@article{arxiv.2010.08982,
title = {Federated Unsupervised Representation Learning},
author = {Fengda Zhang and Kun Kuang and Zhaoyang You and Tao Shen and Jun Xiao and Yin Zhang and Chao Wu and Yueting Zhuang and Xiaolin Li},
journal= {arXiv preprint arXiv:2010.08982},
year = {2020}
}