图像与文本上的自监督减少对视觉捷径特征的依赖
机器学习
2022-07-12 v2 计算机视觉与模式识别
摘要
以完全监督方式训练的深度学习模型已被证明依赖于所谓的“捷径”特征。捷径特征是训练数据中与感兴趣结果相关联、但在测试或部署环境中不再关联或不存在的输入。在此我们提供实验表明，近期在图像和文本上训练的自监督模型提供了更鲁棒的图像表示，并在一个真实医学成像示例中减少了模型对视觉捷径特征的依赖。此外，我们发现当在标注数据上微调时，这些自监督模型比完全监督模型“遗忘”捷径特征更快。尽管不是完整解决方案，我们的实验提供了令人信服的证据：在图像和文本上训练的自监督模型对视觉捷径特征提供了一定的韧性。
引用
@article{arxiv.2206.07155,
title = {Self-Supervision on Images and Text Reduces Reliance on Visual Shortcut Features},
author = {Anil Palepu and Andrew L Beam},
journal= {arXiv preprint arXiv:2206.07155},
year = {2022}
}
备注
4 pages, 2 figures, spotlight talk at SCIS workshop, ICML 2022