用于无监督视觉表征学习的动量对比
计算机视觉与模式识别
2020-03-25 v3
摘要
我们提出动量对比(MoCo)用于无监督视觉表征学习。从将对比学习视为字典查询的视角出发,我们构建了一个由队列与滑动平均编码器组成的动态字典。这使得能够即时构建大型且一致的字典,从而促进对比无监督学习。MoCo 在 ImageNet 分类的常见线性协议下提供了有竞争力的结果。更重要的是,MoCo 学到的表征能很好地迁移到下游任务。MoCo 在 PASCAL VOC、COCO 及其他数据集上的 7 个检测/分割任务中可超越其有监督预训练对应方法,有时以大幅优势胜出。这表明在许多视觉任务中,无监督与有监督表征学习之间的差距已被大幅缩小。
引用
@article{arxiv.1911.05722,
title = {Momentum Contrast for Unsupervised Visual Representation Learning},
author = {Kaiming He and Haoqi Fan and Yuxin Wu and Saining Xie and Ross Girshick},
journal= {arXiv preprint arXiv:1911.05722},
year = {2020}
}
备注
CVPR 2020 camera-ready. Code: https://github.com/facebookresearch/moco