KORE：基于知识导向控制增强大型多模态模型中的知识注入
计算与语言
2026-05-08 v2
摘要
大型多模态模型在预训练权重中编码了大量事实知识。然而，这些知识是静态且有限的，无法跟上现实世界的发展，从而阻碍了持续的知识获取。因此，有效的知识注入变得至关重要，这涉及两个目标：知识适应（注入新知识）和知识保留（保留旧知识）。现有方法常常难以学习新知识，且容易遭受灾难性遗忘。为此，我们提出了 KORE，即 KnOwledge-oRientEd augmentations and constraints 的综合方法，用于在保留旧知识的同时将新知识注入大型多模态模型。不同于通用的文本或图像数据增强，KORE 自动将 individual knowledge items 转换为结构化且全面的知识，以确保模型准确地学习新知识，从而实现准确的适应。同时，KORE 将以前的知识存储在 LMM 线性层激活的协方差矩阵中，并通过将原始权重投影到矩阵的零空间中来初始化适配器，从而定义一种最小化与先前知识干扰的微调方向，以实现强大的保留效果。在包括 LLaVA-v1.5-7B、LLaVA-v1.5-13B 和 Qwen2.5-VL-7B 等各种 LMM 上进行的大量实验表明，KORE 在知识注入性能方面取得优异成果，并有效缓解了灾难性遗忘。
引用
@article{arxiv.2510.19316,
title = {KORE: Enhancing Knowledge Injection for Large Multimodal Models via Knowledge-Oriented Controls},
author = {Kailin Jiang and Hongbo Jiang and Ning Jiang and Zhi Gao and Jinhe Bi and Yuchen Ren and Bin Li and Yuntao Du and Lei Liu and Qing Li},
journal= {arXiv preprint arXiv:2510.19316},
year = {2026}
}
备注
ICML 2026, Project Page: https://kore-lmm.github.io/