带元语义正则化器的干预式对比学习
计算机视觉与模式识别
2022-06-30 v1
摘要
基于对比学习(CL)的自监督学习模型以成对方式学习视觉表征。尽管主流的 CL 模型已取得巨大进展,但在本文中,我们揭示了一个一直被忽视的现象:当 CL 模型以完整图像训练时,在完整图像上测试的性能优于在前景区域上的性能;当 CL 模型以前景区域训练时,在完整图像上测试的性能劣于在前景区域上的性能。该观察表明图像中的背景可能干扰模型学习语义信息,且其影响尚未被完全消除。为应对此问题,我们构建了一个结构因果模型(SCM),将背景建模为混杂因子。我们提出了一种基于后门调整的正则化方法,即带元语义正则化器的干预式对比学习(ICL-MSR),以对所提 SCM 进行因果干预。ICL-MSR 可融入任何现有 CL 方法中,以减轻背景对表征学习的干扰。理论上,我们证明 ICL-MSR 获得了更紧的错误上界。在经验上,我们在多个基准数据集上的实验表明,ICL-MSR 能够提升不同最先进(SOTA)CL 方法的性能。
引用
@article{arxiv.2206.14702,
title = {Interventional Contrastive Learning with Meta Semantic Regularizer},
author = {Wenwen Qiang and Jiangmeng Li and Changwen Zheng and Bing Su and Hui Xiong},
journal= {arXiv preprint arXiv:2206.14702},
year = {2022}
}
备注
Accepted by ICML 2022