监督信息加速视觉表征对比半监督预训练
机器学习
2020-12-03 v2 计算机视觉与模式识别
机器学习
摘要
我们研究了一种通过在预训练期间利用少量监督信息来提高视觉表征对比学习效率的策略。我们提出了一种基于噪声对比估计与邻域成分分析的半监督损失SuNCEt，其目标除自监督的实例级 pretext 任务外，还旨在区分不同类别的样例。在ImageNet上，我们发现SuNCEt可用于匹配先前对比方法的半监督学习准确率，而使用的预训练与计算量不到一半。我们的核心见解是：即使在预训练期间（而不仅在微调期间）利用少量标注数据，也提供了一种能显著加速视觉表征对比学习的重要信号。我们的代码可在 github.com/facebookresearch/suncet 在线获取。
引用
@article{arxiv.2006.10803,
title = {Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations},
author = {Mahmoud Assran and Nicolas Ballas and Lluis Castrejon and Michael Rabbat},
journal= {arXiv preprint arXiv:2006.10803},
year = {2020}
}