RegionCL: 简单的区域交换能否促进对比学习？
计算机视觉与模式识别
2022-11-11 v2
摘要
自监督方法 (SSL) 通过最大化两个增强视图之间的互信息取得了显著成功，其中裁剪是一种流行的增强技术。裁剪区域被广泛用于构建正样本对，而裁剪后剩余的区域在现有方法中很少被探索，尽管它们共同构成同一图像实例，并且都对类别描述有所贡献。在本文中，我们首次尝试从完整视角论证裁剪中两个区域的重要性，并提出一个简单而有效的预置任务，称为区域对比学习 (RegionCL)。具体来说，给定两张不同的图像，我们从每张图像中随机裁剪一个相同大小的区域（称为粘贴视图），并将它们与剩余区域（称为画布视图）分别交换，以组成两张新图像。然后，可以根据以下简单标准高效地构建对比对，即每个视图 (1) 与从同一原始图像增强而来的视图互为正样本，(2) 与从其他图像增强而来的视图互为负样本。通过对流行的 SSL 方法进行微小修改，RegionCL 利用这些丰富的样本对，帮助模型区分来自画布视图和粘贴视图的区域特征，从而学习到更好的视觉表示。在 ImageNet、MS COCO 和 Cityscapes 上的实验表明，RegionCL 大幅提升了 MoCo v2、DenseCL 和 SimSiam 的性能，并在分类、检测和分割任务上达到了最先进的性能。代码将发布于 https://github.com/Annbless/RegionCL.git。
引用
@article{arxiv.2111.12309,
title = {RegionCL: Can Simple Region Swapping Contribute to Contrastive Learning?},
author = {Yufei Xu and Qiming Zhang and Jing Zhang and Dacheng Tao},
journal= {arXiv preprint arXiv:2111.12309},
year = {2022}
}
备注
ECCV2022, 15 pages, 8 figures