通过背景增强刻画并提升自监督学习的鲁棒性
计算机视觉与模式识别
2021-11-15 v2 人工智能
摘要
自监督学习的最新进展在多个视觉任务中展示了有前景的结果。高性能自监督方法的一个重要组成部分是使用数据增强，通过训练模型将同一图像的不同增强视图在嵌入空间中放置得相近。然而，常用的增强流程将图像作为整体处理，忽略了图像各部分（例如主体与背景）的语义相关性，这可能导致学习到虚假关联。我们的工作通过研究一类简单但高效的“背景增强”来解决此问题，这类增强通过阻止模型关注图像背景来鼓励其聚焦于语义相关内容。通过系统性研究，我们表明背景增强在多种任务上使一系列最先进的自监督方法（MoCo-v2、BYOL、SwAV）的性能得到显著提升，例如在 ImageNet 上约 +1-2% 的增益，使性能达到与监督基线相当的水平。此外，我们发现有限标签设置下的提升更大（高达 4.2%）。背景增强还提升了对若干分布偏移的鲁棒性，包括自然对抗样本、ImageNet-9、对抗攻击、ImageNet-Renditions。我们在生成用于背景增强的显著性掩码的过程中，也在完全无监督显著性检测方面取得了进展。
引用
@article{arxiv.2103.12719,
title = {Characterizing and Improving the Robustness of Self-Supervised Learning through Background Augmentations},
author = {Chaitanya K. Ryali and David J. Schwab and Ari S. Morcos},
journal= {arXiv preprint arXiv:2103.12719},
year = {2021}
}
备注
Technical Report; Additional Results