如何理解“支持”？基于隐式增强的因果推断方法用于弱监督短语定位
计算与语言
2024-03-05 v2 人工智能
摘要
弱监督式短语定位（WPG）是推断细粒度短语-区域匹配的新兴任务，仅利用粗粒度句子-图像对进行训练。然而，现有 WPG 研究大多忽略了隐式短语-区域匹配关系，而这些关系对于评估模型理解深层多模态语义的能力至关重要。为此，本文提出了一种隐式增强因果推断（IECI）方法，以解决建模隐式关系和突出显示隐式关系的挑战。具体而言，本方法分别利用干预和反事实技术来应对上述两个挑战。此外，本文标注了一个高质量的隐式增强数据集以评估 IECI，详细评估显示 ICBI 在隐式增强数据集上的优势显著超过最新方法。特别地，我们发现 IECI 在该隐式增强数据集上以大幅度优势超越了先进的多模态大语言模型，这可能促进更多研究来评估多模态大语言模型在这一方向的能力。
引用
@article{arxiv.2402.19116,
title = {How to Understand "Support"? An Implicit-enhanced Causal Inference Approach for Weakly-supervised Phrase Grounding},
author = {Jiamin Luo and Jianing Zhao and Jingjing Wang and Guodong Zhou},
journal= {arXiv preprint arXiv:2402.19116},
year = {2024}
}