将现实留给想象：通过生成数据集实现鲁棒分类

最近的鲁棒性研究揭示了在类似于测试集的数据集上训练的神经图像分类器与在自然偏移分布（例如训练期间观察到的对象类别的素描、绘画和动画）上训练的神经图像分类器之间存在显著的性能差距。先前的工作侧重于通过设计工程化的训练数据增强或通过在从互联网抓取的大规模野外训练数据集上对单个大模型进行无监督预训练来缩小这一差距。然而，近年来，数据集的概念也正在经历范式转变。随着现代生成模型的质量、易用性和可访问性的显著提高，生成数据正在渗透到网络中。鉴于此，我们研究了这样一个问题：这些生成数据集如何影响图像分类器的自然鲁棒性？我们发现，在存在自然分布偏移的情况下，在真实数据上训练并用生成数据增强的ImageNet分类器比标准训练和流行的增强策略实现了更高的准确率和有效鲁棒性。我们分析了影响这些结果的各种因素，包括条件策略的选择和生成数据的数量。此外，我们发现标准的ImageNet分类器在生成数据上的性能下降了高达20%，这表明它们在准确分类具有新颖变化的物体方面存在脆弱性。最后，我们证明，与在真实数据上训练并用来自微调生成模型的生成数据增强的分类器相比，在真实数据上训练并用来自基础生成模型的生成数据增强的图像分类器，对自然分布偏移表现出更强的弹性。代码、模型和数据集可在 https://github.com/Hritikbansal/generative-robustness 获取。