面向多模态大语言模型的局部化、解缠知识编辑
计算与语言
2026-05-29 v1 人工智能
摘要
现有方法在多模态知识编辑（MKE）方面已取得进展，以纠正多模态大语言模型（MLLMs）中过时或不准确的知识。然而，这些方法存在一个关键局限：虽然有效修改目标事实对，但无法将编辑推广到逻辑上相关的查询，并且常常会导致对无关但在视觉或语义上关联的information的意外改变。我们识别并形式化了导致此问题的两种根本性失效模式：Causal Misalignment（因果错位），其将编辑局限于特定样本；Feature Entanglement（特征缠结），其导致对无关信息的意外改变。为解决这些问题，我们提出了Localized and Disentangled Knowledge Editing（LDKE）框架，通过局部化事实特定模型层并解缠目标相关输入与无关输入，实现精确且可推广的编辑。我们的ethods引入Fast Localization模块高效识别和更新关键层，以及Disentanglement Classifier以appropriate路由输入以保持无关知识。广泛的实验在各种基准和MLLMs上表明，LDKE在传播编辑到相关上下文方面实现卓越性能，同时保持高局部性。
引用
@article{arxiv.2605.29826,
title = {Towards Localized and Disentangled Knowledge Editing for Multimodal Large Language Models},
author = {Leijiang Gu and Zhen Zeng and Feng Li and Xinjian Gao and Zenglin Shi},
journal= {arXiv preprint arXiv:2605.29826},
year = {2026}
}