超越二进制编辑：鲁棒的多模态知识编辑与对抗子空间对齐
人工智能
2026-05-25 v1
摘要
多模态大语言模型（MLLMs）需要高效的机制来更新知识，而不会降低现有能力。虽然内在的多模态知识编辑在可靠性和局部性方面表现出色，但常常表现出有限的普遍性，无法在语义等价的视觉和语言变体之间传播编辑。这一问题源于缺乏显式语义监督、编辑范围的刚性以及在高维多模态空间中对单个样本的偏性锚定。我们通过显著针对泛化性来实现鲁棒的内在多模态知识编辑。我们通过将知识单元形式化为分组语义等价多模态输入的单元，来定义鲁棒性；将泛化性定义为每个单元内一致的预测。为暴露脆弱的语义区域，我们引入潜在对抗鲁棒化（Latent Adversarial Robustification, LAR），该方法在联合潜空间中生成具有语义一致性的对抗性变体。我们进一步提出了秩受限子空间学习（Rank-Constrained Subspace Learning, RCSL），通过基于奇异值的数学目标来强制对抗表示在编辑层面的低秩对齐。大量分析表明，ASAM 在实际应用中效果显著。
引用
@article{arxiv.2605.23780,
title = {Beyond Binary Edits Robust Multimodal Knowledge Editing with Adversarial Subspace Alignment},
author = {Haoyuan Wang and Xiaohao Liu and Jiajie Su and Jianmao Xiao and Chaochao Chen},
journal= {arXiv preprint arXiv:2605.23780},
year = {2026}
}