SEUF：为混合专家 LLM 是否只需要取消一个专家？
机器学习
2025-07-01 v2 人工智能
计算与语言
摘要
近期 LLM 取消技术在删除不必要的数据-模型影响同时保持模型对合法知识的实用性方面取得了显著成功。尽管如此，稀疏混合专家(MoE) LLM——这一 LLM 家族中的关键子集——在取消方面尚未得到探索。鉴于 MoE LLM 以卓越的性能而闻名，我们问：如何在 MoE LLM 上实现有效且高效的取消？我们的 pilot 研究表明，MoE LLM 的动态路由特性引入了独特挑战，导致在应用现有取消方法时出现过度遗忘、不可控的知识抹除和显著的实用性下降。为此，我们提出了一种新型所选专家取消框架(SEUF)。通过专家归因，取消集中在针对特定知识最活跃的专家上。同时，对路由器施加锚定损失，以稳定该目标专家的活跃状态，确保聚焦且受控的取消。SEUF 可与各种标准取消算法兼容。广泛实验表明，SEUF 在各种基准和 LLM 架构上，将忘记质量提高最高可达 5%，模型实用性提升最高可达 35%（相对于标准取消算法），而仅取消 0.06% 的模型参数。
引用
@article{arxiv.2411.18797,
title = {SEUF: Is Unlearning One Expert Enough for Mixture-of-Experts LLMs?},
author = {Haomin Zhuang and Yihua Zhang and Kehan Guo and Jinghan Jia and Gaowen Liu and Sijia Liu and Xiangliang Zhang},
journal= {arXiv preprint arXiv:2411.18797},
year = {2025}
}
备注
Accepted to ACL'25