FineCops-Ref：用于细粒度组合指代理解的新数据集与任务
计算机视觉与模式识别
2025-01-14 v2 计算与语言
摘要
指代理解（REC）是关键的跨模态任务，客观评估语言理解、图像理解和语言到图像对齐能力，因此是多模态大语言模型（MLLM）的理想测试场。为此，我们建立了一个具有两个关键特征的新 REC 数据集：首先，设计可控的难度层级，要求在对象类别、属性和多跳关系上进行多层次细粒度推理；其次，包含通过基于现有数据进行细粒度编辑和生成创建的负面文本和图像，从而测试模型在目标对象在图像中不可见时是否能正确拒绝——这是现有数据集和方法中常被忽略的关键方面。利用这一高质量数据集，我们对现有最先进的专家模型和 MLLM 进行了全面评估。我们的发现表明，在实现满意的对齐性能方面仍存在显著差距。我们预计该数据集将激发新的方法，提升视觉推理，发展更高级的跨模态交互策略，从而充分发挥 MLLM 的潜力。我们的代码和数据集已发布于 https://github.com/liujunzhuo/FineCops-Ref。
引用
@article{arxiv.2409.14750,
title = {FineCops-Ref: A new Dataset and Task for Fine-Grained Compositional Referring Expression Comprehension},
author = {Junzhuo Liu and Xuzheng Yang and Weiwei Li and Peng Wang},
journal= {arXiv preprint arXiv:2409.14750},
year = {2025}
}
备注
18 pages, EMNLP 2024 main