更好的 ImageNet 模型迁移性能更好吗？

迁移学习是计算机视觉的基石，但鲜有工作评估架构与迁移之间的关系。现代计算机视觉研究中的一个隐含假设是，在 ImageNet 上表现更好的模型必然在其他视觉任务上表现更好。然而，这一假设从未被系统检验。在此，我们比较了 16 个分类网络在 12 个图像分类数据集上的性能。我们发现，当网络用作固定特征提取器或微调时，ImageNet 准确率与迁移准确率之间存在强相关性（分别为 $r = 0.99$ 和 $0.96$）。在前一种设定下，我们发现该关系对网络在 ImageNet 上的训练方式非常敏感；许多常见的正则化形式略微提升了 ImageNet 准确率，却产生对迁移学习差得多的倒数第二层特征。此外，我们发现，在两个细粒度图像分类小数据集上，ImageNet 预训练收益甚微，表明从 ImageNet 学到的特征不能很好地迁移到细粒度任务。总之，我们的结果表明 ImageNet 架构在数据集间泛化良好，但 ImageNet 特征不如先前认为的那样通用。