融合与独立协作：基于超复数域的鲁棒多模态知识图谱补全
计算与语言
2026-04-20 v2
摘要
多模态知识图谱补全 (MMKGC) 旨在通过利用实体的结构关系和多样化模态信息来发现多模态知识图谱 (MMKGs) 中的缺失事实。现有的 MMKGC 方法遵循两种多模态范式：融合式和集成式。融合式方法采用固定的融合策略, 必然导致模态特定信息的丢失以及难以适应不同语境下模态相关性变化的灵活性。相比之下, 集成式方法通过专门的子模型保留模态独立性, 但难以捕捉模态之间细微且语境依赖的语义相互作用。为克服这两大局限性, 我们提出一种新型 MMKGC 方法 M-Hyper, 实现了融合与独立模态表示的共存与协作。该方法整合了两种范式的优势, 在保持模态特定信息的同时实现有效的跨模态相互作用。灵感来源于“四元数”代数, 我们利用其四个正交基来表示多个独立模态, 并采用 Hamilton 乘积高效地建模它们之间的两两相互作用。具体而言, 我们引入细粒度实体表示分解 (FERF) 模块和鲁棒关系感知模态融合 (R2MF) 模块以获得三个独立模态和一个融合模态的稳健表示。最终的四个模态表示随后映射到四元数 (biquaternion) 的四个正交基上进行全面模态相互作用。广泛的实验表明其在性能、鲁棒性和计算效率方面实现了领先水平。
引用
@article{arxiv.2509.23714,
title = {Collaboration of Fusion and Independence: Hypercomplex-driven Robust Multi-Modal Knowledge Graph Completion},
author = {Zhiqiang Liu and Yichi Zhang and Mengshu Sun and Lei Liang and Wen Zhang},
journal= {arXiv preprint arXiv:2509.23714},
year = {2026}
}
备注
ACL 2026 (Main)