非准确标注对 POPE 基准的影响
材料科学
2025-04-23 v1
摘要
由于数据标注成本高昂，基准数据集常常采用来自既有图像数据集的标签。在本工作中，我们评估了 MSCOCO 标签错误对常用对象幻觉基准 POPE 的影响。我们重新标注了基准图像，并识别出标注错误在不同子集中的不均衡分布。我们在修正后的标签上评估了多个模型，称为 RePOPE，我们观察到模型排名出现显著变化，凸显了标签质量的影响。代码和数据可在 https://github.com/YanNeu/RePOPE 获取。
引用
@article{arxiv.2504.15708,
title = {Domain-wall driven suppression of thermal conductivity in a ferroelectric polycrystal},
author = {Rachid Belrhiti-Nejjar and Manuel Zahn and Patrice Limelette and Max Haas and Lucile Féger and Isabelle Monot-Laffez and Nicolas Horny and Dennis Meier and Fabien Giovannelli and Jan Schultheiß and Guillaume F. Nataf},
journal= {arXiv preprint arXiv:2504.15708},
year = {2025}
}