视觉表征的去中心化无监督学习
机器学习
2022-04-26 v2 计算机视觉与模式识别
摘要
协作学习使分布式客户端能够在将训练数据保留在各客户端本地的同时学习一个共享的预测模型。然而，现有的协作学习方法需要完全标注的数据进行训练，由于标注成本高且需要专业知识，这往往不便甚至有时不可行。标签的缺失使得协作学习在许多实际场景中不切实际。自监督学习可以通过从无标注数据中学习来解决这一挑战。对比学习（CL）是一种自监督学习方法，能够有效从无标注图像数据中学习视觉表征。然而，客户端上收集的分布式数据通常在客户端间并非独立同分布（non-IID），且每个客户端可能仅有少数几类数据，这会降低CL及所学表征的性能。为应对该问题，我们提出一个由特征融合与邻域匹配两种途径组成的协作对比学习框架，借此在客户端间学习统一的特征空间以获得更好的数据表征。特征融合为每个客户端提供远程特征作为准确的对比信息，以改进本地学习。邻域匹配进一步将各客户端的本地特征与远程特征对齐，从而可以学到客户端间良好聚类的特征。大量实验表明了所提框架的有效性。在IID数据上它比其他方法高出11%，并匹配了集中式学习的性能。
引用
@article{arxiv.2111.10763,
title = {Decentralized Unsupervised Learning of Visual Representations},
author = {Yawen Wu and Zhepeng Wang and Dewen Zeng and Meng Li and Yiyu Shi and Jingtong Hu},
journal= {arXiv preprint arXiv:2111.10763},
year = {2022}
}