MNIST-C：一种计算机视觉鲁棒性基准
计算机视觉与模式识别
2019-06-07 v1 机器学习
摘要
我们引入了 MNIST-C 数据集，这是一套应用于 MNIST 测试集的 15 种损坏方法，用于计算机视觉中分布外鲁棒性的基准测试。通过若干实验与可视化，我们证明了我们的损坏在保持测试图像语义内容的同时显著降低了最先进计算机视觉模型的性能。与流行的对抗鲁棒性概念不同，我们的与模型无关的损坏并不寻求最坏情况性能，而是被设计为广泛且多样，以捕捉现代模型的多种失效模式。事实上，我们发现若干先前发表的对抗防御方法在 MNIST-C 测度下的鲁棒性显著下降。我们希望我们的基准能作为未来工作的有用工具，以设计能够学习捕捉输入底层语义的鲁棒特征表示的系统。
引用
@article{arxiv.1906.02337,
title = {MNIST-C: A Robustness Benchmark for Computer Vision},
author = {Norman Mu and Justin Gilmer},
journal= {arXiv preprint arXiv:1906.02337},
year = {2019}
}