基于互补性的多模态知识图谱补全表示学习
人工智能
2025-07-29 v1 计算机视觉与模式识别
摘要
多模态知识图谱补全 (MMKGC) 旨在通过利用多模态和结构化实体信息来揭示隐藏的世界知识。然而，由于模态分布在实体之间差异大，导致多模态知识图谱中存在固有的不平衡，这给利用额外的模态数据进行稳健实体表征带来了挑战。现有的 MMKGC 方法通常依赖于注意力或门控式的融合机制，但忽略了多模态数据中包含的互补性。本文提出了一套名为 Mixture of Complementary Modality Experts (MoCME) 的新型框架，包含 Complementarity-guided Modality Knowledge Fusion (CMKF) 模块和 Entropy-guided Negative Sampling (EGNS) 机制。CMKF 模块利用原模态和跨模态互补性来融合多视图和多模态嵌入，增强实体的表征。此外，我们引入了基于熵的负采样机制，以动态优先处理信息丰富且不确定的负样本，以提高训练效果和模型鲁棒性。在五个基准数据集上的大量实验表明，我们的 MoCME 实现了最先进的性能，超越了现有方法。
引用
@article{arxiv.2507.20620,
title = {Complementarity-driven Representation Learning for Multi-modal Knowledge Graph Completion},
author = {Lijian Li},
journal= {arXiv preprint arXiv:2507.20620},
year = {2025}
}