ExCon：用于图像分类的解释驱动监督对比学习
计算机视觉与模式识别
2022-04-19 v6 人工智能
机器学习
摘要
对比学习在图像分类等任务中所学嵌入表示的质量上带来了实质性提升。然而，现有对比增强方法的一个关键缺陷是，它们可能导致图像内容的修改，从而产生不期望的语义改变。这会影响模型在下游任务上的性能。因此，在本文中，我们探讨是否可以在对比学习中对图像数据进行增强，以保留图像中与任务相关的语义内容。为此，我们提议利用基于显著性的解释方法来创建保留内容的掩码增强用于对比学习。我们新颖的解释驱动监督对比学习（ExCon）方法关键地服务于双重目标：鼓励相邻的图像嵌入具有相似的内容和解释。为量化ExCon的影响，我们在CIFAR-100和Tiny ImageNet数据集上进行了实验。我们证明，在分类、解释质量、对抗鲁棒性以及分布偏移下的概率校准方面，ExCon优于原始监督对比学习。
引用
@article{arxiv.2111.14271,
title = {ExCon: Explanation-driven Supervised Contrastive Learning for Image Classification},
author = {Zhibo Zhang and Jongseong Jang and Chiheb Trabelsi and Ruiwen Li and Scott Sanner and Yeonjeong Jeong and Dongsub Shim},
journal= {arXiv preprint arXiv:2111.14271},
year = {2022}
}