基于知识图谱的多模态实体链接方法 KGMEL
信息检索
2025-04-22 v1 人工智能
计算与语言
摘要
实体链接 (Entity Linking, EL) 将文本提及与知识库中的对应实体对齐，从而支持语义搜索、问答等各种应用。近期在多模态实体链接 (Multimodal Entity Linking, MEL) 方面的进展表明，结合文本和图像可减少歧义并提高对齐精度。然而，大多数现有 MEL 方法忽略了以知识图谱 (Knowledge Graph, KG) 三元组形式提供的丰富结构信息。本文提出 KGMEL，一个利用 KG 三元组增强 MEL 的新型框架。具体而言，KGMEL 在三个阶段运行：(1) 生成阶段：通过基于其文本和图像的视觉语言模型为每个提及生成高质量三元组。(2) 检索阶段：通过对比学习学习联合提及-实体表示，将文本、图像以及生成的或 KG 三元组整合，以检索每个提及的候选实体。(3) 重排序阶段：细化候选实体的 KG 三元组，并利用大型语言模型识别与提及最匹配的实体。广泛实验表明，KGMEL 在基准数据集上超越了现有方法。我们的代码和数据集已公开，链接为 https://github.com/juyeonnn/KGMEL。
引用
@article{arxiv.2504.15135,
title = {KGMEL: Knowledge Graph-Enhanced Multimodal Entity Linking},
author = {Juyeon Kim and Geon Lee and Taeuk Kim and Kijung Shin},
journal= {arXiv preprint arXiv:2504.15135},
year = {2025}
}
备注
SIGIR 2025 (Short)