BalancEdit：在多模态模型编辑中动态平衡普适性-局域性权衡
人工智能
2025-06-11 v2
摘要
大型多模态模型随着时间推移会衰减，因为事实会更新，先前学习的知识会变得过时。由于模型的大小和复杂性，传统方法如微调通常不实用于更新这些模型。相反，对模型内部进行直接知识编辑是一个更可行的解决方案。然而，当前的模型编辑技术通常忽略了不同事实的独特影响范围，导致在普适性和局域性方面的模型性能受到牺牲。为解决此问题，我们引入了多模态模型编辑中普适性-局域性权衡的概念。我们开发了名为 OKEDIT 的新型模型编辑数据集，专为有效评估此权衡而设计。基于此基础，我们提出了 BalancEdit—a一种新型的平衡模型编辑方法，通过动态实现普适性和局域性之间的最佳平衡。BalancEdit 使用一种独特机制为每个事实生成正负样本，以准确确定其影响范围，并通过一种不修改底层模型权重的离散、局部化的编辑码本将这些见解纳入模型的潜在空间。迄今为止，这是首个在多模态模型编辑中显式处理普适性-局域性权衡的方法。我们的全面结果确认了 BalancEdit的有效性，表明其在保持强大编辑能力的同时，实现了最小的权衡。我们的代码和数据集可在 https://github.com/donglgcn/BalancEdit/tree/MMOKVQA 提供。
引用
@article{arxiv.2505.01343,
title = {BalancEdit: Dynamically Balancing the Generality-Locality Trade-off in Multi-modal Model Editing},
author = {Dongliang Guo and Mengxuan Hu and Zihan Guan and Thomas Hartvigsen and Sheng Li},
journal= {arXiv preprint arXiv:2505.01343},
year = {2025}
}