UniMoCo：无监督、半监督与全监督视觉表示学习
计算机视觉与模式识别
2021-03-22 v1
摘要
动量对比（MoCo）在无监督视觉表示学习中取得了巨大成功。然而，存在大量已标注的监督与半监督数据集。为充分利用标签标注，我们提出统一动量对比（UniMoCo），将MoCo扩展以支持任意比例的标注数据与未标注数据训练。与MoCo相比，UniMoCo有两处修改：（1）不同于MoCo中的单一正样本对，我们通过将查询标签与标签队列比较，在线维护多个正样本对。（2）我们提出统一对比（UniCon）损失，以统一的成对优化视角支持任意数量的正样本与负样本。我们的UniCon在理论与实践上均比监督对比损失更为合理且强大。在实验中，我们使用不同比例的ImageNet标签预训练多个UniMoCo模型，并在多种下游任务上评估性能。实验结果表明，UniMoCo在无监督、半监督与监督视觉表示学习上均具有良好泛化性。
引用
@article{arxiv.2103.10773,
title = {UniMoCo: Unsupervised, Semi-Supervised and Full-Supervised Visual Representation Learning},
author = {Zhigang Dai and Bolun Cai and Yugeng Lin and Junying Chen},
journal= {arXiv preprint arXiv:2103.10773},
year = {2021}
}