分离与合作：基于分组混合专家的两级路由用于多域持续学习
机器学习
2025-08-12 v1
摘要
多域持续学习（MDCL）通过具有移动类别集和分布的顺序任务获取知识。尽管参数高效微调（PEFT）方法可以适应这种双重异构性，但仍然 suffer 从灾�忘记和前向忘记。为了解决这些挑战，我们提出了两级路由分组混合专家（TRGE）方法。首先，TRGE动态地扩展预训练的CLIP模型，为每个任务分配特定的专家组以缓解灾难性遗忘。随着专家数量在过程中不断增长，TRGE维持组内的静态专家数量，并引入组内路由器以缓解由增加的路由复杂度导致的路由过拟合。同时，我们设计基于任务标识符和任务原型距离的组间路由策略，该策略动态选择相关专家组并组合其输出以增强任务间协作。其次，为了获取正确的任务标识符，我们利用多模态大语言模型（MLLM）拥有强大的多模态理解能力来生成语义任务描述并识别正确的任务标识符。最后，为了缓解前向遗忘，我们动态地融合来自冻结的CLIP模型和TRGE适配器的输出，基于训练进度，利用预训练和学习知识。通过各种设置的广泛实验，我们的方法在更少的可训练参数方面优于其他先进方法。
引用
@article{arxiv.2508.07738,
title = {Separation and Collaboration: Two-Level Routing Grouped Mixture-of-Experts for Multi-Domain Continual Learning},
author = {Jialu Zhou and Dianxi Shi and Shaowu Yang and Xinyu Wei and Mingyue Yang and Leqian Li and Mengzhu Wang and Chunping Qiu},
journal= {arXiv preprint arXiv:2508.07738},
year = {2025}
}