基于语义路由的可逆终身模型编辑框架 SoLA
人工智能
2026-03-20 v2
摘要
现实世界的动态演化要求对大语言模型进行模型编辑。虽然现有方法探索模块化隔离或参数高效策略，但仍因持续更新导致语义漂移或知识遗忘。为此，我们提出 SoLA—a 基于语义路由的 LoRA 框架，用于终身模型编辑。在 SoLA 中，每个编辑被封装为独立的 LoRA 模块，训练后冻结并通过语义路由映射到输入，从而通过语义匹配实现对 LoRA 模块的动态激活。该机制避免了基于簇更新导致的语义漂移，并缓解了参数共享导致的灾难性遗忘。更重要的是，SoLA 支持通过移除语义路由中的关键词实现对特定编辑的精确撤销，从而恢复模型的原始行为。据我们所知，这是现有文献中首次实现可逆回滚编辑能力。此外，SoLA 将决策过程集成到编辑层中，无需额外路由网络，即可实现端到端决策过程。大量实验表明，SoLA 有效学习和保留编辑知识，实现准确、高效且可逆的终身模型编辑。
引用
@article{arxiv.2603.11239,
title = {Reversible Lifelong Model Editing via Semantic Routing-Based LoRA},
author = {Haihua Luo and Xuming Ran and Tommi Kärkkäinen and Zhonghua Chen and Jiangrong Shen and Qi Xu and Fengyu Cong},
journal= {arXiv preprint arXiv:2603.11239},
year = {2026}
}