MoEEdit：面向 Mixture-of-Experts 大语言模型的高效且路由稳定的知识编辑
机器学习
2026-02-12 v1
摘要
知识编辑（KE）使大语言模型（LLM）中事实内容能够实现精准修改。现有 KE 方法主要针对稠密架构设计，限制了其对日益流行的稀疏 Mixture-of-Experts（MoE）模型的适用性。虽然 MoE 在效率和容量扩展方面表现优异，但直接套用稠密模型编辑器既计算代价高，又容易引发路由分布偏移，破坏稳定性和一致性。为此，我们提出了 MoEEdit——首个面向 MoE 大语言模型的参数修改型知识编辑的路由稳定框架。该方法通过对每个专家的零空间投影实现参数重构，使路由器输入保持不变，从而抑制路由偏移。得到的块状结构优化问题可通过块坐标下降（BCD）求解器高效求解。实验表明，MoEEdit 在实现最新效果和广泛性的同时，保持高特异性和路由稳定性，计算和内存效率显著优越。这些结果为稀疏 LLM 的可扩展、精准知识编辑奠定了稳健基础，凸显了路由稳定干预的重要性。
引用
@article{arxiv.2602.10965,
title = {MoEEdit: Efficient and Routing-Stable Knowledge Editing for Mixture-of-Experts LLMs},
author = {Yupu Gu and Rongzhe Wei and Andy Zhu and Pan Li},
journal= {arXiv preprint arXiv:2602.10965},
year = {2026}
}