基于稀疏插值专家混合模型的LLM升级中自动专家发现
机器学习
2025-06-17 v1
摘要
我们提出了稀疏插值专家混合模型（SIMoE）指令微调，一种端到端算法，旨在将密集预训练的大语言模型（LLM）微调到具备多专业领域能力的专家混合模型风格。在指令微调过程中，SIMoE在指定的稀疏约束下自动识别多个专业专家，每个专家代表种子LLM参数的结构化稀疏子集，对应于数据中的领域特定知识。SIMoE同时通过路由网络学习输入相关的专家合并策略，利用丰富的跨专家知识实现优于现有基线的下游泛化能力。在经验上，SIMoE在常见指令微调基准上持续达到最先进性能，同时与所有基线相比保持了最优的性能-计算权衡。
引用
@article{arxiv.2506.12597,
title = {Automatic Expert Discovery in LLM Upcycling via Sparse Interpolated Mixture-of-Experts},
author = {Shengzhuang Chen and Ying Wei and Jonathan Richard Schwarz},
journal= {arXiv preprint arXiv:2506.12597},
year = {2025}
}
备注
9 pages