R^2MoE：基于冗余移除的持续概念学习混合专家
计算机视觉与模式识别
2025-07-18 v1
摘要
大规模生成模型持续学习新视觉概念对于个性化预训练模型以满足用户偏好至关重要。现有的持续视觉概念学习方法受到两个根本性挑战的限制：灾难性遗忘和参数扩张。本文提出了冗余移除混合专家（R^2MoE），一种用于持续视觉概念学习的参数高效框架，有效学习新概念同时产生最小的参数开销。我们的框架包括三个关键创新性贡献：首先，我们提出了带有路由蒸馏机制的混合专家框架，使专家能够获取概念特定知识，同时保留门控网络的路由能力，从而有效缓解灾难性遗忘。其次，我们提出了消除冗余分层专家的策略，通过充分利用先前学习的专家来减少专家参数的数量。最后，我们采用分层局部注意力引导的推理方法，以缓解生成视觉概念之间的干扰。大量实验表明，我们的方法在概念保真度方面优于最新方法（SOTA），在 CustomConcept 101 数据集上实现了 87.8% 的遗忘率降低和 63.3% 更少的参数使用。我们的代码可在 {https://github.com/learninginvision/R2MoE} 获取。
引用
@article{arxiv.2507.13107,
title = {R^2MoE: Redundancy-Removal Mixture of Experts for Lifelong Concept Learning},
author = {Xiaohan Guo and Yusong Cai and Zejia Liu and Zhengning Wang and Lili Pan and Hongliang Li},
journal= {arXiv preprint arXiv:2507.13107},
year = {2025}
}