我们是否已经完成了 ImageNet？
计算机视觉与模式识别
2020-06-15 v1 机器学习
摘要
是，也不是。我们探讨 ImageNet 分类基准上近期的进展是否仍代表有意义的泛化能力，还是社区已经开始过拟合到其标注过程的特殊性上。为此，我们开发了一种显著更鲁棒的用于收集 ImageNet 验证集人类标注的流程。利用这些新标签，我们重新评估了近期提出的 ImageNet 分类器的准确率，发现其提升幅度远小于在原标签上所报告的。此外，我们发现原始 ImageNet 标签已不再是这一独立收集集合的最佳预测因子，表明其在评估视觉模型方面的有用性可能已接近终点。尽管如此，我们发现我们的标注流程在很大程度上纠正了原始标签中的错误，从而巩固了 ImageNet 作为未来视觉识别研究的强大基准。
引用
@article{arxiv.2006.07159,
title = {Are we done with ImageNet?},
author = {Lucas Beyer and Olivier J. Hénaff and Alexander Kolesnikov and Xiaohua Zhai and Aäron van den Oord},
journal= {arXiv preprint arXiv:2006.07159},
year = {2020}
}
备注
All five authors contributed equally. New labels at https://github.com/google-research/reassessed-imagenet