I2SRM：面向多模态信息抽取的样本内与样本间关系建模
人工智能
2023-10-11 v1
摘要
多模态信息抽取正吸引研究关注，其需要聚合来自不同模态的表示。本文提出用于该任务的样本内与样本间关系建模（I2SRM）方法，包含两个模块。首先，样本内关系建模模块在单个样本上操作，旨在学习有效表示。来自文本与视觉模态的嵌入被偏移以弥合由不同预训练语言与图像模型引起的模态鸿沟。其次，样本间关系建模模块考虑多个样本间的关系并聚焦于捕捉交互。提出一种 AttnMixup 策略，其不仅实现样本间协作，还增强数据以提升泛化性。我们在多模态命名实体识别数据集 Twitter-2015 与 Twitter-2017，以及多模态关系抽取数据集 MNRE 上进行了充分实验。我们提出的方法 I2SRM 取得了具竞争力的结果：Twitter-2015 上 F1 值 77.12%，Twitter-2017 上 88.40%，MNRE 上 84.12%。
引用
@article{arxiv.2310.06326,
title = {I2SRM: Intra- and Inter-Sample Relationship Modeling for Multimodal Information Extraction},
author = {Yusheng Huang and Zhouhan Lin},
journal= {arXiv preprint arXiv:2310.06326},
year = {2023}
}