AspectMMKG:具有方面感知实体的多模态知识图谱
计算与语言
2023-09-19 v2 人工智能
摘要
多模态知识图谱(MMKGs)结合不同模态数据(如文本与图像)以全面理解实体。尽管大规模MMKG近期取得进展,现有MMKG忽视了实体的多方面本质,限制了对实体从多视角理解的能力。在本文中,我们构建AspectMMKG,首个通过将图像匹配到不同实体方面而具有方面相关图像的多模态知识图谱。具体而言,我们从知识库收集方面相关图像,并进一步从知识库提取方面相关句子作为查询,通过在线图像搜索引擎检索大量方面相关图像。最终,AspectMMKG包含2,380个实体、18,139个实体方面和645,383张方面相关图像。我们展示了AspectMMKG在实体方面链接(EAL)下游任务中的可用性,并表明先前的EAL模型借助AspectMMKG达到了新的SOTA性能。为促进方面相关MMKG的研究,我们进一步提出一个方面相关图像检索(AIR)模型,旨在纠正并扩展AspectMMKG中的方面相关图像。我们训练AIR模型,通过融合实体图像、方面及方面图像信息来学习实体图像与实体方面相关图像之间的关系。实验结果表明,AIR模型能为给定实体针对不同方面检索合适图像。
引用
@article{arxiv.2308.04992,
title = {AspectMMKG: A Multi-modal Knowledge Graph with Aspect-aware Entities},
author = {Jingdan Zhang and Jiaan Wang and Xiaodan Wang and Zhixu Li and Yanghua Xiao},
journal= {arXiv preprint arXiv:2308.04992},
year = {2023}
}
备注
Accepted by CIKM 2023