一个专家等同于一枚词元：通过专家词元路由协同多个专家LLM构建通用模型
计算与语言
2024-06-12 v3 人工智能
摘要
我们提出了Expert-Token-Routing，这是一个统一的通用框架，可促进多个专家LLM的无缝集成。我们的框架将专家LLM表示为元LLM词表中的特殊专家词元。元LLM可以像生成新词元一样路由到专家LLM。Expert-Token-Routing不仅支持从现有指令数据集中学习专家LLM的隐式专业知识，还允许以即插即用的方式动态扩展新的专家LLM。它还向用户隐藏了详细的协作过程，使得交互如同使用单个LLM一样。在包含六个不同专家领域的基准测试中，我们的框架优于现有的多种多LLM协作范式，展示了通过协同多个专家LLM构建通用LLM系统的有效性和稳健性。
引用
@article{arxiv.2403.16854,
title = {An Expert is Worth One Token: Synergizing Multiple Expert LLMs as Generalist via Expert Token Routing},
author = {Ziwei Chai and Guoyin Wang and Jing Su and Tianjie Zhang and Xuanwen Huang and Xuwu Wang and Jingjing Xu and Jianbo Yuan and Hongxia Yang and Fei Wu and Yang Yang},
journal= {arXiv preprint arXiv:2403.16854},
year = {2024}
}