将大语言模型灵活且高效地混合为领域专家混合模型
人工智能
2024-09-12 v2 计算与语言
摘要
我们提出了一套工具包，用于从已训练模型中创建低成本的领域专家混合模型。该工具包可用于从模型或适配器中创建混合模型。我们进行了广泛测试，并提供了使用该工具包定义所得 MOE 架构的指导。已提供公开代码库。
引用
@article{arxiv.2408.17280,
title = {Flexible and Effective Mixing of Large Language Models into a Mixture of Domain Experts},
author = {Rhui Dih Lee and Laura Wynter and Raghu Kiran Ganti},
journal= {arXiv preprint arXiv:2408.17280},
year = {2024}
}