MoDEM：领域专家模型混合模型
计算与语言
2024-10-11 v1
摘要
我们提出了一种新方法，通过结合领域提示路由和领域专用模型来增强大型语言模型（LLM）的性能和效率。我们引入了一个系统，该系统利用基于 BERT 的路由器将输入提示定向到最合适的领域专家模型。这些专家模型是为健康、数学和科学等领域专门调谐的。我们的研究表明，这种方法可以显著超过大小相当的通用模型，实现了在各种基准测试中更优的性能成本比。本研究的意义表明，LLM 的未来发展和部署可能出现范式转变。相对于仅关注创建越来越大的通用模型，AI 的未来可能在于开发由较小的高度专业化模型组成的生态系统，配合精细的路由系统。这种方法可能导致更高效的资源利用、降低计算成本以及卓越的整体性能。
引用
@article{arxiv.2410.07490,
title = {MoDEM: Mixture of Domain Expert Models},
author = {Toby Simonds and Kemal Kurniawan and Jey Han Lau},
journal= {arXiv preprint arXiv:2410.07490},
year = {2024}
}