MindBridge：基于记忆增强模态的可扩展跨模型知识编辑
人工智能
2025-03-05 v1
摘要
知识编辑是一种高效且准确更新大型语言模型（LLM）知识的技术，以缓解知识过时和纠正错误。然而，大多数现有方法过度依赖于特定模型，导致编辑后的知识在每次LLM更新时都被丢弃，并需要频繁重新编辑，在当今快速发展的开源社区中尤其负担沉重。为此，我们提出了跨模型知识编辑的问题，引入MindBridge——一种受多模态模型中模态处理与LLM之间低耦合性启发的可扩展解决方案。MindBridge提出了一种新颖的记忆模态（memory modality）概念，将编辑后的知识编码为独立的模态。它首先对记忆模态进行LLM无关的预训练，然后将其集成到各种LLM中。在多个LLM和流行的知识编辑数据集上进行的广泛实验表明，MindBridge即使在编辑数万条知识条目时也能实现卓越的性能，并且能够灵活适应不同的LLM。我们的代码已公开于 https://github.com/CrashBugger/MindBridge。
引用
@article{arxiv.2503.02701,
title = {MindBridge: Scalable and Cross-Model Knowledge Editing via Memory-Augmented Modality},
author = {Shuaike Li and Kai Zhang and Qi Liu and Enhong Chen},
journal= {arXiv preprint arXiv:2503.02701},
year = {2025}
}