利用语义弱化负样本的鲁棒对比学习
计算机视觉与模式识别
2022-01-04 v2 机器学习
摘要
由于更有效的对比学习方法的发展，无监督学习近期取得了非凡进展。然而，CNN易于依赖人类认为非语义的低级特征。这种依赖性被推测会导致对图像扰动或域偏移缺乏鲁棒性。在本文中，我们表明通过生成精心设计的负样本，对比学习可以学习更鲁棒的表示，并更少依赖此类特征。对比学习利用在训练图像中保持语义信息同时扰动表面特征的正样本对。类似地，我们提出以相反方式生成负样本，其中仅保留多余特征而非语义特征。我们开发了两种方法，基于纹理和基于块的数据增强，来生成负样本。这些样本实现了更好的泛化，尤其在域外设置下。我们还分析了我们的方法及生成的基于纹理的样本，表明纹理特征在分类特定ImageNet类别尤其是更细粒度类别时不可或缺。我们还展示了模型偏差在不同测试设置下对纹理和形状特征的偏好不同。我们的代码、训练好的模型和ImageNet-Texture数据集可在 https://github.com/SongweiGe/Contrastive-Learning-with-Non-Semantic-Negatives 找到。
引用
@article{arxiv.2110.14189,
title = {Robust Contrastive Learning Using Negative Samples with Diminished Semantics},
author = {Songwei Ge and Shlok Mishra and Haohan Wang and Chun-Liang Li and David Jacobs},
journal= {arXiv preprint arXiv:2110.14189},
year = {2022}
}
备注
NeurIPS 2021