筛选与利用并举：基于特征去噪与多模态主题建模的多模态关系抽取
计算机视觉与模式识别
2023-05-26 v2 计算与语言
摘要
现有的多模态关系抽取（MRE）研究面临两个共存的挑战：内部信息过度利用与外部信息利用不足。为此，我们提出了一种新颖的框架，同时实现内部信息筛选与外部信息利用的思想。首先，我们用视觉与文本场景图表示输入图像和文本的细粒度语义结构，并将其进一步融合为统一跨模态图（CMG）。基于CMG，我们在图信息瓶颈原则指导下进行结构精炼，主动去除信息量较少的特征噪声。接下来，我们对输入图像和文本进行主题建模，融入潜在多模态主题特征以丰富上下文。在基准MRE数据集上，我们的系统显著优于当前最佳模型。通过进一步的深入分析，我们揭示了该方法在MRE任务上的巨大潜力。我们的代码已开源：https://github.com/ChocoWu/MRE-ISE。
引用
@article{arxiv.2305.11719,
title = {Information Screening whilst Exploiting! Multimodal Relation Extraction with Feature Denoising and Multimodal Topic Modeling},
author = {Shengqiong Wu and Hao Fei and Yixin Cao and Lidong Bing and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2305.11719},
year = {2023}
}
备注
ACL 2023