基于知识增强的跨模态提示模型的少样本联合多模态实体关系抽取

联合多模态实体关系抽取（JMERE）是一个旨在从文本-图像对中抽取实体及其关系的具有挑战性的任务。现有方法的 JMERE 需要大量标记数据。然而，为 JMERE 收集和标注细粒度多模态数据面临诸多挑战。最初，我们构建了符合原始数据分布的多样且全面的少样本多模态数据集。为了解决少样本环境中信息不足的问题，我们引入了一种知识增强的跨模态提示模型（KECPM）用于 JMERE。该方法通过引导大型语言模型生成相关背景知识来有效解决少样本环境中的信息不足问题。我们提出的方法包含两个阶段：（1）知识摄取阶段，该阶段根据语义相似性指导 ChatGPT 生成相关知识，并利用自反思来优化知识；（2）知识增强型语言模型阶段，该阶段将辅助知识与原始输入合并，并利用基于转换器的模型以满足 JMERE 所需的输出格式进行对齐。我们在源自 JMERE 数据集的少样本数据集上广泛评估了该方法，证明其在微观和宏观 F1 分数方面均优于强大的基线方法。此外，我们还提供了定性分析和案例研究，以阐明该模型有效性。