图像分类模型对前景、背景与视觉属性敏感性的综合研究
计算机视觉与模式识别
2022-01-27 v1
摘要
尽管具有单标签监督的数据集推动了图像分类的快速发展，但要定量评估模型如何做出预测，仍需额外标注。为此，我们对 ImageNet 样本的一个子集收集了完整对象与 个信息性属性的分割掩码。我们称该数据集为 RIVAL10（具有定位的丰富视觉属性），包含约 个实例，涵盖 个类别。利用 RIVAL10，我们评估了一系列广泛模型对前景、背景和属性中噪声扰动的敏感性。在分析中，我们考虑了多样的最先进架构（ResNets、Transformers）与训练流程（CLIP、SimCLR、DeiT、对抗训练）。我们发现，有些令人意外的是，在 ResNets 中，对抗训练相较标准训练使模型对背景比前景更敏感。类似地，对比训练的模型在 transformers 与 ResNets 中也具有更低的相对前景敏感性。最后，我们观察到 transformers 随着扰动程度增加提升相对前景敏感性的有趣适应能力。利用显著性方法，我们自动发现了驱动模型背景敏感性的伪特征，并评估了显著性图与前景的对齐情况。最后，我们通过比较特征显著性与语义属性的真实定位，定量研究了神经特征的归因问题。
引用
@article{arxiv.2201.10766,
title = {A Comprehensive Study of Image Classification Model Sensitivity to Foregrounds, Backgrounds, and Visual Attributes},
author = {Mazda Moayeri and Phillip Pope and Yogesh Balaji and Soheil Feizi},
journal= {arXiv preprint arXiv:2201.10766},
year = {2022}
}