从 ImageNet 到图像分类：基准测试进展的语境化审视
计算机视觉与模式识别
2020-05-25 v1 机器学习
机器学习
摘要
以可扩展的方式构建丰富的机器学习数据集通常需要众包数据收集流程。在这项工作中，我们利用人类研究来调查采用这种流程的后果，重点关注流行的 ImageNet 数据集。我们研究了 ImageNet 创建过程中的具体设计选择如何影响最终数据集的保真度——包括引入最先进模型所利用的偏差。我们的分析精准指出了嘈杂的数据收集流程如何导致最终基准与其所代理的真实世界任务之间出现系统性错位。最后，我们的发现强调了增强当前模型训练和评估工具包以考虑这种错位的必要性。为了促进进一步研究，我们在 https://github.com/MadryLab/ImageNetMultiLabel 上发布了我们精炼的 ImageNet 标注。
引用
@article{arxiv.2005.11295,
title = {From ImageNet to Image Classification: Contextualizing Progress on Benchmarks},
author = {Dimitris Tsipras and Shibani Santurkar and Logan Engstrom and Andrew Ilyas and Aleksander Madry},
journal= {arXiv preprint arXiv:2005.11295},
year = {2020}
}