为孪生表示学习构建更优对比视图
计算机视觉与模式识别
2022-03-31 v3
摘要
近期的自监督对比学习方法极大受益于旨在最小化正样本对距离的孪生结构。对于高性能孪生表示学习，关键之一在于设计良好的对比对。多数先前工作简单地应用随机采样来生成同一图像的不同裁剪，忽略了可能降低视图质量的语义信息。在本文中，我们提出 ContrastiveCrop，可有效为孪生表示学习生成更优裁剪。首先，以完全无监督方式在训练过程中提出语义感知的目标定位策略，引导我们生成可避免大多数假正例（即目标 vs. 背景）的对比视图。此外，我们通过实证发现外观相似的视图对孪生模型训练而言是平凡的，因而进一步设计中心抑制采样以增大裁剪的方差。值得注意的是，我们的方法细致考量了对比学习的positive pairs，且额外训练开销可忽略。作为即插即用且与框架无关的模块，ContrastiveCrop 在 CIFAR-10、CIFAR-100、Tiny ImageNet 和 STL-10 上持续提升 SimCLR、MoCo、BYOL、SimSiam 的分类准确率 0.4% ~ 2.0%。在 ImageNet-1K 上预训练时，下游检测与分割任务亦取得优越结果。
引用
@article{arxiv.2202.03278,
title = {Crafting Better Contrastive Views for Siamese Representation Learning},
author = {Xiangyu Peng and Kai Wang and Zheng Zhu and Mang Wang and Yang You},
journal= {arXiv preprint arXiv:2202.03278},
year = {2022}
}
备注
Accepted by CVPR 2022 as an oral paper