FrugalGPT:如何在使用大语言模型的同时降低成本并提升性能
机器学习
2023-05-10 v1 人工智能
计算与语言
软件工程
摘要
可供用户付费查询的大语言模型(LLMs)数量正在快速增长。我们回顾了查询流行 LLM API(如 GPT-4、ChatGPT、J1-Jumbo)的相关成本,发现这些模型具有异构的定价结构,费用相差可达两个数量级。特别是在大量查询和文本上使用 LLM 可能十分昂贵。受此驱动,我们概述并讨论了用户可利用的三类策略以降低使用 LLM 的推理成本:1)提示适配,2) LLM 近似,3) LLM 级联。作为一个示例,我们提出 FrugalGPT,一种简单而灵活的 LLM 级联实现,它学习对不同查询使用哪些 LLM 组合,从而降低成本并提高准确率。我们的实验表明,FrugalGPT 可用高达 98% 的成本削减匹配最佳单个 LLM(如 GPT-4)的性能,或以相同成本将相对于 GPT-4 的准确率提升 4%。本文提出的思路与发现为可持续且高效地使用 LLM 奠定了基础。
引用
@article{arxiv.2305.05176,
title = {FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance},
author = {Lingjiao Chen and Matei Zaharia and James Zou},
journal= {arXiv preprint arXiv:2305.05176},
year = {2023}
}