用于对比学习的非对称块采样
计算机视觉与模式识别
2023-06-06 v1
摘要
正样本对之间的非对称外观有效降低了对比学习中表示退化的风险。然而，现有方法构建的正样本对之间仍存在大量外观相似性，抑制了表示的进一步提升。本文中，我们提出一种新颖的用于对比学习的非对称块采样策略，以进一步增强外观不对称性从而获得更好的表示。具体而言，对给定图像应用双重块采样策略，以获得非对称正样本对。首先，进行稀疏块采样以获得第一视图，其降低了图像的空间冗余并允许更不对称的视图。其次，提出选择性块采样以构建相对于第一视图具有大外观差异的另一视图。由于正样本对之间微不足道的外观相似性，训练模型被鼓励捕捉语义层面的相似性，而非低层相似性。实验结果表明，我们所提方法在 ImageNet-1K 与 CIFAR 数据集上显著优于现有自监督方法，例如在 CIFAR100 上微调准确率提升 2.5%。此外，我们的方法在下游任务、COCO 上的目标检测与实例分割取得了最先进性能。另外，与其他自监督方法相比，我们的方法在训练时于内存与计算上均更高效。源代码发布于 https://github.com/visresearch/aps。
引用
@article{arxiv.2306.02854,
title = {Asymmetric Patch Sampling for Contrastive Learning},
author = {Chengchao Shen and Jianzhong Chen and Shu Wang and Hulin Kuang and Jin Liu and Jianxin Wang},
journal= {arXiv preprint arXiv:2306.02854},
year = {2023}
}