当大型多模态模型面对演化知识：挑战与探索
计算与语言
2026-02-27 v2
摘要
大型多模态模型（LMM）存储了大量预训练知识，但难以与现实世界的更新保持一致，使得在获取演化知识时难以避免能力退化。此外，当前大多数工作集中于探索静态文本知识注入，忽略了动态多模态演化知识注入，使得LMM在多模态知识注入方面的潜力成为一个开放问题。为了解决这一问题，我们首先提出一个流程来构建MMEVOKE，一个用于评估LMM在多模态演化知识注入方面能力的基准。MMEVOKE包含跨越159个子类型的9,422个样本。然后，基于在MMEVOKE上的大量实验，我们通过知识注入测试和通用能力测试，揭示了现有知识注入方法在知识注入性能和知识能力退化方面的挑战。最后，为了应对这些挑战，我们引入了知识增强和知识保留方法，发现知识感知增强能够强化知识注入性能，而Data Replay和MoE方法能有效缓解能力退化。
引用
@article{arxiv.2505.24449,
title = {When Large Multimodal Models Confront Evolving Knowledge: Challenges and Explorations},
author = {Kailin Jiang and Yuntao Du and Yukai Ding and Yuchen Ren and Ning Jiang and Zhi Gao and Zilong Zheng and Lei Liu and Bin Li and Qing Li},
journal= {arXiv preprint arXiv:2505.24449},
year = {2026}
}
备注
ICLR 2026, Project Page: https://evoke-lmm.github.io/