重新思考自监督对比学习中的旋转：自适应正或负数据增强
计算机视觉与模式识别
2022-11-28 v2
摘要
旋转常被列为对比学习中数据增强的候选操作，但很少带来令人满意的改进。我们认为这是因为旋转后的图像总是被当作正样本或负样本。图像的语义可以是旋转不变或旋转可变的，因此旋转后的图像应被视为正样本还是负样本，应根据图像内容来决定。为此，我们提出一种新颖的增强策略——自适应正或负数据增强（PNDA），其中若原图像与其旋转图像在语义上接近则为正样本对，若语义不同则为负样本对。为实现 PNDA，我们首先以无监督方式逐图像判断旋转是正样本还是负样本，然后将 PNDA 应用于对比学习框架。实验表明 PNDA 提升了对比学习的性能。代码见 \url{ https://github.com/AtsuMiyai/rethinking_rotation}。
引用
@article{arxiv.2210.12681,
title = {Rethinking Rotation in Self-Supervised Contrastive Learning: Adaptive Positive or Negative Data Augmentation},
author = {Atsuyuki Miyai and Qing Yu and Daiki Ikami and Go Irie and Kiyoharu Aizawa},
journal= {arXiv preprint arXiv:2210.12681},
year = {2022}
}
备注
Accepted at the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2023