SEE：基于顺序专家集成的持续微调
计算与语言
2025-04-10 v1 机器学习
摘要
大型语言模型（LLM）的持续微调面临灾难性遗忘问题。再训练法通过保留少量旧数据来缓解此问题，但仍不可避免地产生性能损失。虽然为每个任务训练独立专家可帮助防止遗忘，但如何有效组装这些专家仍是挑战。某些方法使用路由器将任务分配给专家，但在持续学习场景中往往需要重新训练以获得最佳性能。为此，我们提出了顺序专家集成（SEE）框架。SEE 无需额外路由器，使每个专家能够独立决定查询是否应由其处理。该框架采用分布式路由机制，在持续微调期间，SEE 只需为新任务训练新的专家，而无需重新训练整个系统。实验表明，SEE 在持续微调方面优于先前方法，包括多任务学习。它还展现出显著的泛化能力，因为专家能够有效识别分布之外的查询，可将其导向更通用的模型进行解决。本工作凸显了将路由与响应机制集成于每个专家中的潜在前景，为分布式模型集成的未来方向指明了道路。
引用
@article{arxiv.2504.06664,
title = {SEE: Continual Fine-tuning with Sequential Ensemble of Experts},
author = {Zhilin Wang and Yafu Li and Xiaoye Qu and Yu Cheng},
journal= {arXiv preprint arXiv:2504.06664},
year = {2025}
}
备注
9pages