ImageNot：与 ImageNet 的对比保持了模型排名
机器学习
2025-12-05 v2 计算机视觉与模式识别
摘要
我们引入了 ImageNot，这是一个在规模上与 ImageNet 相匹配，但在构建时被明确设定为与 ImageNet 截然不同的数据集。ImageNot 旨在测试 ImageNet 上深度学习进展的外部有效性。我们表明，多年来为 ImageNet 开发的关键模型架构，在从头训练并于 ImageNot 上评估时，其排名与在 ImageNet 上的排名完全相同。此外，每个模型相对于早期模型的相对改进在两个数据集中均表现出强相关性。我们的工作证明了，当在完全不同的数据集上训练和评估时，图像分类模型的相对性能具有令人惊讶的外部有效性。这与绝对准确率数值形成鲜明对比，后者在数据集发生微小变化时通常会急剧下降。
引用
@article{arxiv.2404.02112,
title = {ImageNot: A contrast with ImageNet preserves model rankings},
author = {Olawale Salaudeen and Moritz Hardt},
journal= {arXiv preprint arXiv:2404.02112},
year = {2025}
}