MoPro：基于动量原型的网络监督学习
计算机视觉与模式识别
2020-09-18 v1
摘要
我们提出了一种网络监督表示学习方法，该方法既不受监督学习中标注不可扩展性的困扰，也不受自监督学习计算不可扩展性的制约。现有大多数关于网络监督表示学习的工作采用普通的监督学习方法，未考虑训练数据中普遍存在的噪声；而现有大多数处理标签噪声的方法对于现实世界的大规模噪声数据效果不佳。我们提出了动量原型（MoPro），这是一种简单的对比学习方法，能够实现在线标签噪声校正、分布外样本去除以及表示学习。MoPro 在弱标注噪声数据集 WebVision 上取得了 SOTA 性能。当预训练模型迁移到下游图像分类和检测任务时，MoPro 也展现出优越的性能。在 VOC 的 1-shot 分类上，它比 ImageNet 监督预训练模型高出 +10.5；在 1% 的 ImageNet 标注样本上进行微调时，它比最佳的自监督预训练模型高出 +17.3。此外，MoPro 对分布偏移具有更强的鲁棒性。代码和预训练模型可在 https://github.com/salesforce/MoPro 获取。
引用
@article{arxiv.2009.07995,
title = {MoPro: Webly Supervised Learning with Momentum Prototypes},
author = {Junnan Li and Caiming Xiong and Steven C. H. Hoi},
journal= {arXiv preprint arXiv:2009.07995},
year = {2020}
}