度量图像分类中对自然分布偏移的鲁棒性
机器学习
2020-09-15 v2 计算机视觉与模式识别
机器学习
摘要
我们研究当前ImageNet模型对由数据集自然变化引起的分布偏移的鲁棒性。大多数关于鲁棒性的研究聚焦于合成图像扰动（噪声、模拟天气伪影、对抗样本等），这留下了合成分布偏移上的鲁棒性如何关联到真实数据中出现的分布偏移的问题。基于对213种不同测试条件下204个ImageNet模型的评估，我们发现当前从合成到自然分布偏移的鲁棒性往往很少或没有迁移。此外，大多数当前技术对我们测试平台中的自然分布偏移不提供任何鲁棒性。主要的例外是在更大且更多样的数据集上训练，其在多种情况下提升了鲁棒性，但仍远未缩小性能差距。我们的结果表明，真实数据中出现的分布偏移目前是一个开放的研究问题。我们在 https://modestyachts.github.io/imagenet-testbed/ 提供我们的测试平台与数据作为未来工作的资源。
引用
@article{arxiv.2007.00644,
title = {Measuring Robustness to Natural Distribution Shifts in Image Classification},
author = {Rohan Taori and Achal Dave and Vaishaal Shankar and Nicholas Carlini and Benjamin Recht and Ludwig Schmidt},
journal= {arXiv preprint arXiv:2007.00644},
year = {2020}
}