面向类递增学习的可稳定路由混合专家
计算机视觉与模式识别
2026-05-19 v1 机器学习
摘要
类递增学习（Class-Incremental Learning, CIL）要求模型在顺序学习新类别的同时保持先前知识。最近，一种结合预训练模型与混合专家（Mixture-of-Experts, MoE）的方法在CIL领域受到越来越多的关注：它们通常在学习过程中扩充专家数量，并采用路由器在专家之间分配权重。然而，现有的MoE方法常常忽视了由专家扩容引起的路由漂移。一旦引入新专家，路由器可能重新分配早期类别的样本到新添加的专家，从而扰乱先前建立的专家组合，导致干扰，即使旧专家保持冻结状态也亦如此。我们认为，面向CIL的可扩展MoE需要两种互补属性：维持旧类别路由稳定性以实现知识保留，以及满足新类别适应的足够容量利用。为此，我们提出了面向可扩展MoE的稳定路由框架（Stable Routing for MoE, StaR-MoE）。通过引入灵敏度感知路由对齐，StaR-MoE通过灵敏度引导的约束将当前旧类别的路由行为与历史路由分布对齐。补充地，StaR-MoE引入非对称容量正则化，以鼓励有效利用扩充后的专家池，而不损害类别特定的路由专业化。广泛的实验在四个标准CIL基准数据集上表明，StaR-MoE在平均准确率和最后准确率方面均优于当前最先进的方法，凸显了稳定路由的重要性。
引用
@article{arxiv.2605.17571,
title = {Stable Routing for Mixture-of-Experts in Class-Incremental Learning},
author = {Zirui Guo and Quan Cheng and Da-Wei Zhou and Lijun Zhang},
journal= {arXiv preprint arXiv:2605.17571},
year = {2026}
}