评估自监督表征对背景/前景移除的鲁棒性
计算机视觉与模式识别
2023-06-05 v1
摘要
尽管SSL在解决各种任务方面取得了令人印象深刻的经验进展，理解和刻画从输入数据中学到的SSL表征的问题仍相对未被充分探索。我们提供了当掩码输入部分时SSL模型产生的表征如何不同的比较分析。具体而言，我们考虑了最先进的SSL预训练模型，如DINOv2、MAE和SwaV，并分析了在4个图像分类数据集上表征层面的变化。首先，我们通过应用前景和背景分割生成数据集的变体。然后，我们使用典型相关分析(CCA)和中心核对齐(CKA)进行统计分析，以评估SSL模型中学习到的表征的鲁棒性。经验上，我们表明并非所有模型都产生分离前景、背景和完整图像的表征。此外，我们通过遮挡图像中心区域来测试不同的掩码策略，以应对前景和背景难以区分的情况。例如，专注于纹理而非特定物体的DTD数据集。
引用
@article{arxiv.2306.01398,
title = {Evaluating The Robustness of Self-Supervised Representations to Background/Foreground Removal},
author = {Xavier F. Cadet and Ranya Aloufi and Alain Miranville and Sara Ahmadi-Abhari and Hamed Haddadi},
journal= {arXiv preprint arXiv:2306.01398},
year = {2023}
}