基准的基准测试：MS-COCO有多可靠？
计算机视觉与模式识别
2023-11-07 v1
摘要
基准数据集被用于描述和比较各类任务（从图像分类到分割）上的算法，并在图像预训练算法中扮演重要角色。人们重视结果而很少关注数据集中的实际内容。重要的是要质疑从这些数据集中学习到的是何种信息，以及其中存在哪些细微差别与偏差。在以下工作中，我们利用Sama-COCO（MS-COCO的一个重新标注版本）借助形状分析流程来发现潜在偏差。我们在两个数据集上分别训练并评估了一个模型，以考察不同标注条件的影响。结果表明标注风格十分重要，且标注流程应密切考虑所关注的任务。该数据集已在 https://www.sama.com/sama-coco-dataset/ 公开提供。
引用
@article{arxiv.2311.02709,
title = {Benchmarking a Benchmark: How Reliable is MS-COCO?},
author = {Eric Zimmermann and Justin Szeto and Jerome Pasquero and Frederic Ratle},
journal= {arXiv preprint arXiv:2311.02709},
year = {2023}
}
备注
Accepted at ICCV 2023 DataComp Workshop