基准测试神经网络对常见 corruptions 与表面变化的鲁棒性

在本文中，我们建立了图像分类器鲁棒性的严格基准。我们的第一个基准 ImageNet-C 标准化并扩展了 corruption 鲁棒性主题，同时展示了在 safety-critical 应用中哪些分类器更可取。与近期鲁棒性研究不同，该基准评估的是常见 corruptions 上的性能而非最坏情况对抗性 corruptions。我们发现从 AlexNet 到 ResNet 分类器的相对 corruption 鲁棒性变化可忽略，并且我们发现了增强 corruption 鲁棒性的方法。然后我们提出一个名为 Icons-50 的新数据集，开启了关于一种新鲁棒性即表面变化鲁棒性的研究。利用该数据集，我们评估了分类器在已知物体的新风格与已知类的意外实例上的脆弱性。我们还展示了两种提升表面变化鲁棒性的方法。我们的基准共同有助于未来研究朝向学习基本类结构并能鲁棒泛化的网络。