利用高效组合正配对增强对比学习
计算机视觉与模式识别
2024-01-12 v1 人工智能
摘要
在过去几年中，对比学习在视觉无监督表示学习的成功中发挥了核心作用。与此同时，高性能的非对比学习方法也得到了发展。虽然大多数工作仅使用两个视图，我们仔细回顾了现有的多视图方法，并提出了一种通用的多视图策略，可以提升任何对比或非对比方法的学习速度和性能。我们首先分析了 CMC 的全图范式，并通过实验表明，在小学习率和训练早期， 视图的学习速度可以提升 倍。然后，我们通过混合仅由裁剪增强产生的视图、采用 SwAV 多裁剪中的小尺寸视图以及修改负采样，升级了 CMC 的全图范式。由此产生的多视图策略称为 ECPP（高效组合正配对）。我们通过将其应用于 SimCLR 并评估在 CIFAR-10 和 ImageNet-100 上的线性评估性能来研究 ECPP 的有效性。对于每个基准，我们都达到了最先进的性能。在 ImageNet-100 上，经 ECPP 增强的 SimCLR 超越了监督学习。
引用
@article{arxiv.2401.05730,
title = {Enhancing Contrastive Learning with Efficient Combinatorial Positive Pairing},
author = {Jaeill Kim and Duhun Hwang and Eunjung Lee and Jangwon Suh and Jimyeong Kim and Wonjong Rhee},
journal= {arXiv preprint arXiv:2401.05730},
year = {2024}
}