HERGC：面向多模态知识图谱的异构专家表示与生成式补全

多模态知识图谱（MMKGs）通过引入图像和文本等多样模态丰富了传统知识图谱（KGs）。多模态知识图谱补全（MMKGC）旨在利用这些异构信号推断缺失事实，从而缓解 MMKGs 固有的不完整性。现有 MMKGC 方法通常在封闭世界假设下仅利用 MMKGs 中包含的信息，并采用判别式训练目标，这限制了它们在补全过程中的推理能力。近期的大语言模型（LLMs）凭借庞大的参数规模和在海量语料上的预训练，在各种任务中展现出了强大的推理能力。然而，它们在 MMKGC 中的潜力在很大程度上仍未被探索。为了填补这一空白，我们提出了 HERGC，一个用于 MMKGs 的灵活的异构专家表示与生成式补全框架。HERGC 首先部署了一个异构专家表示检索器，用于丰富和融合多模态信息，并为每个不完整三元组检索一个紧凑的候选集。然后，它使用生成式 LLM 预测器（通过上下文学习或轻量级微调实现）从这些候选中准确识别正确答案。在三个标准 MMKG 基准上的广泛实验证明了 HERGC 的有效性和鲁棒性，取得了优于现有方法的性能。