当模态记住：多模态知识图谱的持续学习
计算与语言
2026-04-06 v1
摘要
现实世界的多模态知识图谱是动态的，新的实体、关系和模态知识会随时间涌现。现有的持续知识图谱推理方法侧重于结构三元组，无法充分利用新实体中的多模态信号。然而，现有的多模态知识图谱推理方法通常假设静态图谱，并随着图谱演化而遭受灾难性遗忘。为了解决这一差距，我们对持续多模态知识图谱推理进行了系统性研究。我们从现有的多模态知识图谱数据集中构建了几个持续多模态知识图谱基准，并提出了MRCKG，一种新的持续多模态知识图谱推理模型。具体来说，MRCKG采用多模态-结构协作课程，根据新三元组与历史图谱的结构连通性及其多模态兼容性来安排渐进式学习。它还引入了一种跨模态知识保留机制，通过实体表示稳定性、关系语义一致性和模态锚定来缓解遗忘。此外，一种具有两阶段优化策略的多模态对比重放方案，通过多模态重要性采样和表示对齐来强化已学知识。在多个数据集上的实验表明，MRCKG在显著改善新知识学习的同时，保留了先前学到的多模态知识。
引用
@article{arxiv.2604.02778,
title = {When Modalities Remember: Continual Learning for Multimodal Knowledge Graphs},
author = {Linyu Li and Zhi Jin and Yichi Zhang and Dongming Jin and Yuanpeng He and Haoran Duan and Gadeng Luosang and Nyima Tashi},
journal= {arXiv preprint arXiv:2604.02778},
year = {2026}
}