专家组合：基于大型语言模型的模块化复合AI系统
机器学习
2024-12-04 v1 人工智能
计算与语言
机器学习
摘要
大型语言模型（LLM）已取得显著进展，但其单一性质在可扩展性、成本和定制方面存在挑战。本文引入了专家组合（Composition of Experts, CoE），这是一种利用多个专家LLM的模块化复合AI系统。CoE利用路由器动态选择给定输入的最合适专家，从而实现资源利用的效率和性能的提升。我们阐述了训练CoE的通用问题，并讨论了其固有的复杂性。我们提出一种两步路由方法以解决这些复杂性，该方法首先使用路由器将输入分类为 distinct category，然后进行 category-to-expert mapping 以获取所需专家。CoE为构建复合AI系统提供了灵活且高性价比的解决方案。我们的实证评估表明，CoE在实现卓越性能并降低计算开销方面效果显著。鉴于CoE由众多专家LLM组成，其独特的系统要求对于以成本效益方式提供服务具有挑战。我们呈现了一种高效的CoE实现方案，利用SambaNova SN40L RDUs独特的三级内存架构。在Arena-Hard上，仅使用310亿平均激活参数即可获得59.4分得分；在MT-Bench上，仅使用540亿平均激活参数即可获得9.06分得分。
引用
@article{arxiv.2412.01868,
title = {Composition of Experts: A Modular Compound AI System Leveraging Large Language Models},
author = {Swayambhoo Jain and Ravi Raju and Bo Li and Zoltan Csaki and Jonathan Li and Kaizhao Liang and Guoyao Feng and Urmish Thakkar and Anand Sampat and Raghu Prabhakar and Sumati Jairath},
journal= {arXiv preprint arXiv:2412.01868},
year = {2024}
}