Branch-Train-MiX：将专家 LLM 混合为混合专家 LLM
计算与语言
2024-03-13 v1 人工智能
摘要
我们研究了训练大型语言模型以具备多专业领域（如编程、数学推理和世界知识）能力的有效方法。我们的方法名为 Branch-Train-MiX (BTX)，从一个种子模型开始，将其分支以高度并行的方式训练专家，具有高吞吐量和低通信成本。在各个专家被异步训练完成后，BTX 将它们的前馈参数作为混合专家层中的专家汇集起来，并平均剩余参数，随后进行 MoE 微调阶段以学习词元级路由。BTX 推广了两个特例：没有 MoE 微调阶段来学习路由的 Branch-Train-Merge 方法，以及省略异步训练专家阶段的稀疏上循环方法。与其他方法相比，BTX 实现了最佳的准确率-效率权衡。
引用
@article{arxiv.2403.07816,
title = {Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM},
author = {Sainbayar Sukhbaatar and Olga Golovneva and Vasu Sharma and Hu Xu and Xi Victoria Lin and Baptiste Rozière and Jacob Kahn and Daniel Li and Wen-tau Yih and Jason Weston and Xian Li},
journal= {arXiv preprint arXiv:2403.07816},
year = {2024}
}