用于自监督视觉预训练的相关图像建模
计算机视觉与模式识别
2023-03-31 v3
摘要
我们提出相关图像建模（CIM），一种新颖且出奇有效的自监督视觉预训练方法。我们的 CIM 执行一个简单的 pretext 任务：我们从输入图像（上下文）中随机裁剪图像区域（样本），并预测样本与上下文之间的相关图。三个关键设计使相关图像建模成为一个非平凡且有意义的自监督任务。首先，为生成有用的样本-上下文对，我们考虑以各种尺度、形状、旋转和变换裁剪图像区域。其次，我们采用包含在线编码器和目标编码器的 bootstrap 学习框架。在预训练期间，前者以样本作为输入，而后者转换上下文。第三，我们通过一个简单的交叉注意力块对相关图建模，其中上下文作为查询，样本提供值和键。我们表明 CIM 在自监督和迁移基准上达到与当前最先进水平相当或更好的性能。
引用
@article{arxiv.2303.12670,
title = {Correlational Image Modeling for Self-Supervised Visual Pre-Training},
author = {Wei Li and Jiahao Xie and Chen Change Loy},
journal= {arXiv preprint arXiv:2303.12670},
year = {2023}
}
备注
Accepted by CVPR 2023