面向多模态知识图谱构建的细粒度可迁移多模态令牌
计算与语言
2026-02-19 v1
摘要
多模态知识图谱推理（MMKGR）旨在利用图结构信息和多模态实体内容来预测缺失的关联。大多数现有工作针对传递性场景设计，学习数据集特定的嵌入，难以推广到新的知识图。最近的知识图谱基础模型（KGFM）改进了跨知识图的迁移，但主要仅利用结构模式，忽略了丰富的多模态信号。我们通过提出一种基于令牌的基础模型（TOFU）来弥补这些差距，专为MMKGR设计，具有跨不同MMKG的强大推广能力。TOFU将结构、视觉和文本信息离散化为特定模态的令牌。TOFU随后采用层次化融合架构，结合消息混合机制，旨在处理这些令牌并为MMKGR获取可迁移特征。在17个传递性、感知性和完全感知性MMKG上的实验结果表明，TOFU在强大的KGFM和MMKGR基线上持续领先，在未见MMKG上也表现出色。
引用
@article{arxiv.2602.15896,
title = {Every Little Helps: Building Knowledge Graph Foundation Model with Fine-grained Transferable Multi-modal Tokens},
author = {Yichi Zhang and Zhuo Chen and Lingbing Guo and Wen Zhang and Huajun Chen},
journal= {arXiv preprint arXiv:2602.15896},
year = {2026}
}
备注
Work in progress