CP-MoE：面向持续学习的一致性保持混合专家
机器学习
2026-05-21 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
灾难性遗忘仍是大型语言模型 (LLM) 和视觉-语言模型 (VLM) 持续学习中的主要障碍。虽然混合专家 (MoE) 架构为扩大规模提供了高效途径，但现有的 LoRA 基于 MoE 的持续学习方法仍面临根本性权衡：要么过于激进地隔离专家，限制跨任务知识迁移，要么允许任务特定更新覆盖重要现有参数，导致严重遗忘。为此，我们提出 CP-MoE，一个围绕瞬时专家构建的持续学习框架，后者捕获早期任务特定更新，并引导其整合到稳定专家中。CP-MoE 引入一致性保持路由偏置，该偏置利用瞬时专家估计稳定专家的表示相似性，并引导路由选择更兼容的专家；以及瞬时专家引导的正则化机制，该机制在合并期间选择性保护重要历史参数。通过这些组件，我们减少参数干扰和遗忘，同时保持跨任务知识迁移。我们在包含 LLM 和 VLM MoE 模型的双模态和单模态持续学习基准上验证了 CP-MoE。在覆盖多样化顺序语言任务的 SuperNI 基准上，CP-MoE 实现了最先进 (SOTA) 的性能和更强的零样本迁移。
引用
@article{arxiv.2605.20247,
title = {CP-MoE: Consistency-Preserving Mixture-of-Experts for Continual Learning},
author = {Yang Liu and Toan Nguyen and Flora D. Salim},
journal= {arXiv preprint arXiv:2605.20247},
year = {2026}
}