ImageNet 上的鲁棒性能否迁移到下游任务？

随着干净 ImageNet 准确率接近其上限，研究界越来越关注分布偏移下的鲁棒准确率。尽管已提出多种方法来使神经网络鲁棒化，这些技术通常针对在 ImageNet 分类上训练的模型。同时，使用 ImageNet 预训练骨干网络用于下游任务（如目标检测、语义分割和来自不同领域的图像分类）是一种常见做法。这引发了一个问题：这些鲁棒的图像分类器能否将鲁棒性迁移到下游任务？对于目标检测和语义分割，我们发现一个原始的 Swin Transformer（一种为密集预测任务定制的 Vision Transformer 变体）比那些被训练为对损坏版 ImageNet 鲁棒的卷积神经网络迁移鲁棒性更好。对于 CIFAR10 分类，我们发现为 ImageNet 做了鲁棒化的模型在完全微调后无法保持鲁棒性。这些发现表明，当前的鲁棒化技术往往偏重 ImageNet 评估。此外，当我们考虑迁移学习时，网络架构是鲁棒性的一个重要来源。