自然对抗样本
机器学习
2021-03-08 v4 计算机视觉与模式识别
机器学习
摘要
我们引入两个具有挑战性的数据集，可可靠地使机器学习模型性能大幅退化。这些数据集通过简单的对抗过滤技术收集，以创建具有有限虚假线索的数据集。我们数据集中的真实世界、未修改样本可可靠地迁移至各种未见模型，表明计算机视觉模型存在共性弱点。第一个数据集称为 ImageNet-A，类似 ImageNet 测试集，但对现有模型而言更具挑战性。我们还整理了一个称为 ImageNet-O 的对抗分布外检测数据集，这是首个为 ImageNet 模型创建的分布外检测数据集。在 ImageNet-A 上，DenseNet-121 仅获得约 2% 准确率，准确率下降约 90%，其在 ImageNet-O 上的分布外检测性能接近随机水平。我们发现现有数据增强技术几乎无法提升性能，使用其他公共训练数据集带来的改进也有限。然而，我们发现改进计算机视觉架构为构建鲁棒模型提供了有前景的路径。
引用
@article{arxiv.1907.07174,
title = {Natural Adversarial Examples},
author = {Dan Hendrycks and Kevin Zhao and Steven Basart and Jacob Steinhardt and Dawn Song},
journal= {arXiv preprint arXiv:1907.07174},
year = {2021}
}
备注
CVPR 2021; dataset and code available at https://github.com/hendrycks/natural-adv-examples