标签收敛：通过矛盾标注定义目标识别的性能上界
计算机视觉与模式识别
2025-01-23 v2 人工智能
摘要
标注错误不仅在机器学习模型的训练过程中，也在其评估过程中构成挑战。数据集中的标签变异和不准确性通常表现为偏离既定标注惯例的矛盾示例。当这些不一致性显著时，会阻碍模型在平均精度均值等指标上达到最优性能。我们引入“标签收敛”的概念来描述在矛盾测试标注约束下可达到的最高性能，本质上定义了模型准确率的上界。认识到噪声是所有数据的固有特征，我们的研究分析了五个真实世界数据集，包括LVIS数据集，以探究标签收敛现象。我们近似估计，对于LVIS数据集，在95%置信度下，标签收敛介于62.63至67.52 mAP@[0.5:0.95:0.05]之间，并将这些界限归因于真实标注错误的存在。鉴于当前最先进的模型已处于研究充分的LVIS数据集标签收敛区间的上端，我们得出结论，模型容量足以解决当前的目标检测问题。因此，未来的工作应聚焦于三个关键方面：(1) 更新问题规范并调整评估实践以考虑不可避免的标签噪声；(2) 创建更清洁的数据，尤其是测试数据；(3) 包含多标注数据以研究标注变异，并从一开始就使这些问题可见。
引用
@article{arxiv.2409.09412,
title = {Label Convergence: Defining an Upper Performance Bound in Object Recognition through Contradictory Annotations},
author = {David Tschirschwitz and Volker Rodehorst},
journal= {arXiv preprint arXiv:2409.09412},
year = {2025}
}
备注
Accepted at WACV 2025, added reference to paper associated code