评估神经网络相对于人类表现的视觉连续腐败鲁棒性
计算机视觉与模式识别
2024-03-01 v1
摘要
虽然神经网络（NNs）在 ImageNet 图像分类任务上的准确率已超过人类，但它们往往缺乏针对图像腐败（即腐败鲁棒性）的鲁棒性，而这种鲁棒性对人类感知而言似乎毫不费力。在本文中，我们提出了视觉连续腐败鲁棒性（VCR）——这是腐败鲁棒性的扩展，旨在允许在对应于人类感知质量的广泛且连续的变化范围内（即从原始图像到所有感知视觉信息的完全失真）对其进行评估，并提出了两种用于神经网络评估的新型人类感知指标。为了比较神经网络与人类感知的 VCR，我们在 14 种常用图像腐败类型上进行了广泛实验，涉及 7,718 名人类参与者以及具有不同训练目标（如标准、对抗、腐败鲁棒性）、不同架构（如卷积神经网络、视觉 Transformer）和不同训练数据增强量的最先进鲁棒神经网络模型。我们的研究表明：1) 评估针对连续腐败的鲁棒性可以揭示现有基准测试未检测到的鲁棒性不足；因此，2) 神经网络与人类鲁棒性之间的差距比此前已知的更大；最后，3) 某些图像腐败对人类感知具有相似的影响，为更具成本效益的鲁棒性评估提供了机会。我们提供了包含 14 种图像腐败的验证集、人类鲁棒性数据及评估代码，作为工具箱和基准测试发布。
引用
@article{arxiv.2402.19401,
title = {Assessing Visually-Continuous Corruption Robustness of Neural Networks Relative to Human Performance},
author = {Huakun Shen and Boyue Caroline Hu and Krzysztof Czarnecki and Lina Marsso and Marsha Chechik},
journal= {arXiv preprint arXiv:2402.19401},
year = {2024}
}