ImageNet-D：在扩散模型合成物体上基准测试神经网络鲁棒性
计算机视觉与模式识别
2024-03-28 v1 人工智能
机器学习
摘要
我们建立了严格的视觉感知鲁棒性基准。诸如 ImageNet-C、ImageNet-9 和 Stylized ImageNet 等合成图像针对合成损坏、背景和纹理提供了特定类型的评估，然而这些鲁棒性基准在特定变化上受限且合成质量较低。在这项工作中，我们引入生成模型作为合成困难图像的数据源，以基准测试深度模型的鲁棒性。利用扩散模型，我们能够生成比以往任何工作具有更多样化背景、纹理和材质的图像，我们将此基准称为 ImageNet-D。实验结果表明，ImageNet-D 导致一系列视觉模型的准确率显著下降，从标准的 ResNet 视觉分类器到最新的基础模型如 CLIP 和 MiniGPT-4，将其准确率最高降低达 60%。我们的工作表明，扩散模型可以成为测试视觉模型的有效来源。代码和数据集可在 https://github.com/chenshuang-zhang/imagenet_d 获取。
引用
@article{arxiv.2403.18775,
title = {ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object},
author = {Chenshuang Zhang and Fei Pan and Junmo Kim and In So Kweon and Chengzhi Mao},
journal= {arXiv preprint arXiv:2403.18775},
year = {2024}
}
备注
Accepted at CVPR 2024