角点案例：目标大小与位置如何挑战在ImageNet上训练的模型
计算机视觉与模式识别
2025-09-09 v2
摘要
图像中的背景在不同数据点之间产生伪关联方面起着主要作用。由于人类捕获图像的审美偏好，数据集可能对不同类别 exhibit 位置（对象在给定帧内的位置）和大小（感兴趣区域到图像比率）偏差。在本文中，我们展示了这些偏差如何影响模型依赖于背景中伪特征进行预测的程度。为更好地阐述我们的发现，我们提出了一个源自ImageNet-1k的合成数据集Hard-Spurious-ImageNet，包含各种背景、对象位置和对象大小的图像。通过对不同预训练模型进行评估，我们发现大多数模型在感兴趣区域（ROI）到图像比率较小且对象位于图像中心之外时，严重依赖背景中的伪特征。此外，我们还表明，当前旨在缓解有害伪特征的方法并未考虑这些因素，因而无法在核心特征大小和位置发生变化时获得显著的性能提升。该数据集和实现代码均可在 https://github.com/Mishalfatima/Corner_Cases 提供。
引用
@article{arxiv.2505.03569,
title = {Corner Cases: How Size and Position of Objects Challenge ImageNet-Trained Models},
author = {Mishal Fatima and Steffen Jung and Margret Keuper},
journal= {arXiv preprint arXiv:2505.03569},
year = {2025}
}