HMGIE：面向视觉-语言数据清洗的分层多粒度不一致性评估
计算机视觉与模式识别
2024-12-10 v1 人工智能
摘要
视觉-文本不一致性（VTI）评估在视觉-语言数据清洗中扮演着关键角色。其主要挑战源于图像描述数据集的高度多样性，其中内容差异可导致多种不一致性（如场景、实体、实体属性、实体数量、实体交互等方面的不一致）。此外，描述长度的变化也可能在不同粒度层级引入不一致性。为应对这些挑战，我们设计了一个自适应评估框架——分层多粒度不一致性评估（HMGIE），能够对各种图像-描述对提供涵盖准确性和完整性两个方面的多粒度评估。具体而言，HMGIE 框架由三个连续模块实现。首先，语义图生成模块将图像描述转换为语义图，以构建所有涉及语义项的结构化表示。然后，分层不一致性评估模块通过语义图引导，采用动态问答生成与评估策略，提供渐进式评估过程，生成分层不一致性评估图（HIEG）。最后，量化评估模块基于 HIEG 计算准确性和完整性得分，并附上关于检测结果的自然语言解释。此外，为验证所提框架在处理不同图像描述数据集时的有效性与灵活性，我们构建了 MVTID——一个包含多样化不一致性类型与粒度的图像-描述数据集。在 MVTID 和其他基准数据集上的广泛实验表明，所提出的 HMGIE 在性能上优于现有最先进方法。
引用
@article{arxiv.2412.05685,
title = {HMGIE: Hierarchical and Multi-Grained Inconsistency Evaluation for Vision-Language Data Cleansing},
author = {Zihao Zhu and Hongbao Zhang and Guanzong Wu and Siwei Lyu and Baoyuan Wu},
journal= {arXiv preprint arXiv:2412.05685},
year = {2024}
}