基于边增强图对齐网络与词对关系标注的联合多模态实体关系抽取
计算与语言
2023-02-21 v2 人工智能
多媒体
摘要
多模态命名实体识别（MNER）和多模态关系抽取（MRE）是多模态知识图谱构建任务中的两个基本子任务。然而，现有方法通常独立处理这两个任务，忽略了它们之间的双向交互。本文首次提出将 MNER 和 MRE 联合执行为一个联合多模态实体关系抽取任务（JMERE）。此外，当前的 MNER 和 MRE 模型仅考虑在视觉图和文本图中将视觉对象与文本实体对齐，却忽略了实体-实体关系和对象-对象关系。为解决上述挑战，我们为 JMERE 任务提出了一种边增强图对齐网络和词对关系标注方法（EEGA）。具体而言，我们首先设计了词对关系标注以利用 MNER 和 MRE 之间的双向交互并避免误差传播。然后，我们提出了一种边增强图对齐网络，通过对齐跨图中的节点和边来增强 JMERE 任务。与先前方法相比，所提方法能够利用边信息辅助对象与实体之间的对齐，并发现实体-实体关系与对象-对象关系之间的相关性。实验证明了我们模型的有效性。
引用
@article{arxiv.2211.15028,
title = {Joint Multimodal Entity-Relation Extraction Based on Edge-enhanced Graph Alignment Network and Word-pair Relation Tagging},
author = {Li Yuan and Yi Cai and Jin Wang and Qing Li},
journal= {arXiv preprint arXiv:2211.15028},
year = {2023}
}
备注
accepted in AAAI-2023