基于空间噪声课程学习的对比对象级预训练
计算机视觉与模式识别
2021-11-30 v2
摘要
基于对比学习的预训练目标是利用大量无标签数据产生一个可轻易适配下游的模型。当前方法围绕解决图像判别任务：给定锚图像、该图像的一个增强对应图像以及一些其他图像，模型必须产生表示使得锚与其对应图像之间的距离小，而锚与其他图像之间的距离大。这种方法有两个显著问题：（i）通过在图像级对比表示，难以生成有益于下游对象级任务（如实例分割）的详细对象敏感特征；（ii）生成增强对应图像的增强策略是固定的，使得预训练后期阶段的学习效率较低。在这项工作中，我们引入课程对比对象级预训练（CCOP）来解决这些问题：（i）我们使用选择性搜索找到粗略对象区域，并用它们构建图像间对象级对比损失和图像内对象级判别损失到我们的预训练目标中；（ii）我们提出一个自适应增强生成区域的课程学习机制，使模型能持续获取有用的学习信号，即使在预训练的后期阶段。我们的实验表明，在多对象场景图像数据集上预训练时，我们的方法在多个对象级任务上大幅优于 MoCo v2 基线。代码见 https://github.com/ChenhongyiYang/CCOP。
引用
@article{arxiv.2111.13651,
title = {Contrastive Object-level Pre-training with Spatial Noise Curriculum Learning},
author = {Chenhongyi Yang and Lichao Huang and Elliot J. Crowley},
journal= {arXiv preprint arXiv:2111.13651},
year = {2021}
}