通过双向生成对齐学习隐式实体-对象关系用于多模态命名实体识别
机器学习
2023-08-08 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
多模态命名实体识别（MNER）带来的挑战主要有两个方面：（1）弥合文本与图像之间的语义鸿沟；（2）将实体与其在图像中关联的对象相匹配。现有方法由于缺乏相应标注，无法捕捉隐式实体-对象关系。在本文中，我们提出一种名为 BGA-MNER 的双向生成对齐方法来解决这些问题。我们的 BGA-MNER 包含针对两模态中实体显著内容的 \texttt{image2text} 和 \texttt{text2image} 生成。它联合优化双向重构目标，从而在此类直接而强大的约束下对齐隐式实体-对象关系。此外，图文对通常包含不匹配的组件，这些组件对生成而言是噪声。我们提出一种阶段精炼的上下文采样器，以提取用于生成的匹配跨模态内容。在两个基准上的大量实验表明，我们的方法在推理阶段无需图像输入即可达到最先进的性能。
引用
@article{arxiv.2308.02570,
title = {Learning Implicit Entity-object Relations by Bidirectional Generative Alignment for Multimodal NER},
author = {Feng Chen and Jiajia Liu and Kaixiang Ji and Wang Ren and Jian Wang and Jingdong Wang},
journal= {arXiv preprint arXiv:2308.02570},
year = {2023}
}