ImageNet-E：通过属性编辑评测神经网络鲁棒性
计算机视觉与模式识别
2023-03-31 v1
摘要
近期研究表明，ImageNet上更高的准确率通常带来针对不同类型损坏更好的鲁棒性。因此，本文不遵循探究深度模型可能遭遇的新分布外损坏或扰动的传统研究范式，而是在分布内数据中进行模型调试，以探索模型可能对哪些物体属性敏感。为实现该目标，我们创建了一个具有背景、大小、位置和方向控制的对象编辑工具包，并创建了一个名为ImageNet-E(diting)的严格基准，用于从物体属性角度评测图像分类器鲁棒性。借助我们的ImageNet-E，我们评估了当前深度学习模型（包括卷积神经网络和视觉Transformer）的性能。我们发现大多数模型对属性变化相当敏感。背景的微小改变可导致top-1准确率平均下降9.23%。我们还评估了一些鲁棒模型，包括对抗训练模型和其他鲁棒训练模型，发现部分模型对属性变化的鲁棒性比原始模型更差。基于这些发现，我们探索了通过预处理、架构设计和训练策略增强属性鲁棒性的方法。我们希望本工作能为社区提供一些见解，并为鲁棒计算机视觉研究开辟新途径。代码与数据集见于https://github.com/alibaba/easyrobust。
引用
@article{arxiv.2303.17096,
title = {ImageNet-E: Benchmarking Neural Network Robustness via Attribute Editing},
author = {Xiaodan Li and Yuefeng Chen and Yao Zhu and Shuhui Wang and Rong Zhang and Hui Xue},
journal= {arXiv preprint arXiv:2303.17096},
year = {2023}
}
备注
Accepted by CVPR2023