CLASH：用于跨模态矛盾检测的基准数据集
计算机视觉与模式识别
2025-11-25 v1 人工智能
机器学习
摘要
在实际场景中常见矛盾的多模态输入，而现有基准数据集通常假设输入一致，无法评估跨模态矛盾检测——这是防止幻觉和确保可靠性的基本能力。我们引入 CLASH，一个用于多模态矛盾检测的新型基准数据集，包含来自 COCO 的图像配对矛盾说明文本，矛盾包含受控的对象级或属性级矛盾。样本包含在两种格式（多选和开放式）中评估的针对性问题。基准数据集提供经过自动质量筛选的大量微调数据集，以及较小的人类验证诊断数据集。我们分析了当前 SOTA 模型，在识别跨模态冲突方面存在显著局限，揭示了系统性模态偏见和类别特定弱点。此外，我们实证证明，在 CLASH 上进行针对性微调可显著提升冲突检测能力。
引用
@article{arxiv.2511.19199,
title = {CLASH: A Benchmark for Cross-Modal Contradiction Detection},
author = {Teodora Popordanoska and Jiameng Li and Matthew B. Blaschko},
journal= {arXiv preprint arXiv:2511.19199},
year = {2025}
}
备注
First two authors contributed equally