基于对抗样本对比学习
计算机视觉与模式识别
2020-10-26 v1
摘要
对比学习（CL）是一种用于视觉表示自监督学习（SSL）的流行技术。它利用无标签训练样本的增强对来定义深度嵌入预文本学习的分类任务。尽管在增强流程方面已有大量工作，已有研究未解决困难负对的选取问题，因为采样批次中的图像被独立对待。本文通过引入一类用于对比学习的新型对抗样本，并使用这些样本定义一种用于 SSL 的新对抗训练算法（记为 CLAE）来解决该问题。与标准 CL 相比，对抗样本的使用创造了更具挑战性的正对，而对抗训练通过在优化过程中考虑批次中所有图像产生更困难的负对。CLAE 与文献中许多 CL 方法兼容。实验表明，它在多个数据集上提升了若干现有 CL 基线的性能。
引用
@article{arxiv.2010.12050,
title = {Contrastive Learning with Adversarial Examples},
author = {Chih-Hui Ho and Nuno Vasconcelos},
journal= {arXiv preprint arXiv:2010.12050},
year = {2020}
}
备注
NeurIPS 2020