MemEIC：面向持续性与组合化知识编辑的一步实践

信息的动态性质 necessitates 持续更新大型视觉语言模型（LVLMs）。虽然近期的知识编辑技术指向了有前景的方向，但它们往往仅聚焦于单一模态（视觉或语言）的独立编辑。这种普遍做法忽略了 LVLMs 内在的多模态性以及知识更新的持续性，可能在考虑模态间相互作用以及持续知识精炼的需求时，导致编辑效果次优。为此，我们提出了 MemEIC，一种用于 LVLMs 持续性与组合化知识编辑（CCKE）的新方法。MemEIC 实现了对视觉与文本知识的序列式组合编辑。我们的方法采用混合外部-内部编辑器，配备跨模态证据检索的双外部记忆和双 LoRA 适配器，以实现每个模态的解耦参数更新。关键组件是一种受大脑启发的知识连接器，可在组合推理时选择性激活，以跨模态整合信息。实验表明，MemEIC 在处理复杂多模态问题方面显著提升性能，并有效保留先前的编辑，为 LVLMs 的 CCKE 树立了新基准。