基于去中心化数据的协作式无监督视觉表征学习
分布式、并行与集群计算
2021-08-17 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
无监督表征学习利用互联网上可用的集中式数据取得了优异性能。然而，隐私保护意识的增强限制了在多方可 explosive 增长的去中心化无标签图像数据（如手机和摄像头）的共享。因此，一个自然的问题是：如何在保护数据隐私的同时利用这些数据为下游任务学习视觉表征。为解决该问题，我们提出一种新颖的联邦无监督学习框架 FedU。在该框架中，各方使用在线网络与目标网络通过对比学习独立地从无标签数据训练模型。随后，中心服务器聚合训练后的模型，并用聚合模型更新客户端模型。由于各方仅能访问自身原始数据，该框架保护了数据隐私。多方间的去中心化数据通常非独立同分布（non-IID），导致性能下降。为应对此挑战，我们提出两种简单而有效的方法：1）我们设计通信协议，仅上传在线网络的编码器供服务器聚合，并用聚合编码器更新之；2）我们引入新模块，基于 non-IID 引起的发散动态决定如何更新预测器。预测器是在线网络的另一组件。大量实验与消融研究证明了 FedU 的有效性与重要性。在 non-IID 数据的线性与半监督评测中，其性能超越仅单方训练 5% 以上，超越其他方法 14% 以上。
引用
@article{arxiv.2108.06492,
title = {Collaborative Unsupervised Visual Representation Learning from Decentralized Data},
author = {Weiming Zhuang and Xin Gan and Yonggang Wen and Shuai Zhang and Shuai Yi},
journal= {arXiv preprint arXiv:2108.06492},
year = {2021}
}
备注
ICCV'21