基于非对称InfoNCE的对抗对比学习
计算机视觉与模式识别
2022-07-19 v1 人工智能
机器学习
摘要
对比学习(CL)近来被应用于对抗学习任务中。此类做法将对抗样本视为实例的额外正视图，并通过最大化它们之间的相互一致性来提升对抗鲁棒性。然而，该机制可能存在缺陷，因为对抗扰动可能导致实例级身份混淆，从而将具有不同身份的不同实例拉到一起，阻碍CL性能。为解决此问题，我们提出在对比时不对等对待对抗样本，采用一种非对称InfoNCE目标函数()，该目标允许对对抗样本进行有区别的考量。具体而言，对抗样本被视为引发较弱学习信号的次等正例，或被视为与其他负样本对比度更高的困难负例。以这种非对称方式，CL与对抗学习之间目标冲突的负面影响可被有效缓解。实验表明，我们的方法在不同微调方案下始终优于现有对抗CL方法，且不增加计算成本。所提出的A-InfoNCE也是一种通用形式，可轻松扩展到其他CL方法。代码见https://github.com/yqy2001/A-InfoNCE。
引用
@article{arxiv.2207.08374,
title = {Adversarial Contrastive Learning via Asymmetric InfoNCE},
author = {Qiying Yu and Jieming Lou and Xianyuan Zhan and Qizhang Li and Wangmeng Zuo and Yang Liu and Jingjing Liu},
journal= {arXiv preprint arXiv:2207.08374},
year = {2022}
}
备注
Accepted by ECCV 2022. Code is available at https://github.com/yqy2001/A-InfoNCE