Routoo：学习有效路由至大型语言模型
计算与语言
2024-10-03 v3 人工智能
机器学习
摘要
具有卓越响应质量的大型语言模型（LLM）——尤其是较大或闭源模型——通常伴随着更高的推理成本，这使得它们的部署效率低下且成本高昂。同时，从头开始开发基础LLM正变得日益资源密集，对许多应用而言不切实际。为了解决平衡质量与成本的挑战，我们引入了Routoo，这是一种旨在根据性能、成本和效率为特定提示优化LLM选择的架构。Routoo提供了对推理成本与质量之间权衡的可控性，能够在给定质量要求下显著降低推理成本。Routoo包含两个关键组件：性能预测器和成本感知选择器。性能预测器是一个轻量级LLM，它能在不执行各种底层LLM的情况下，估计它们在给定提示上的预期性能。然后，成本感知选择器模块基于这些预测以及成本和延迟等约束条件，选择最合适的模型，从而在保持相同质量的同时显著降低推理成本。我们使用MMLU基准，在57个领域采用开源模型对Routoo进行了评估。结果表明，Routoo的性能与Mixtral 8x7b模型相当，同时将推理成本降低了三分之一。此外，通过允许增加成本，Routoo在同等成本下的准确率超过Mixtral 5%以上，达到75.9%的准确率。当将GPT4集成到我们的模型池中时，Routoo以一半的成本几乎达到了GPT4的性能，并在成本降低25%的情况下超越了它。这些结果凸显了Routoo在不牺牲质量的情况下显著降低推理成本的潜力，甚至通过利用多个LLM的集体能力来建立新的最先进结果。
引用
@article{arxiv.2401.13979,
title = {Routoo: Learning to Route to Large Language Models Effectively},
author = {Alireza Mohammadshahi and Arshad Rafiq Shaikh and Majid Yazdani},
journal= {arXiv preprint arXiv:2401.13979},
year = {2024}
}