EcoAssistant：以更低成本与更高精度使用 LLM 助手
软件工程
2023-10-06 v1 人工智能
摘要
如今，用户将大语言模型（LLM）作为助手来回答需要外部知识的查询；他们询问特定城市的天气、股票价格，甚至询问其附近特定位置在哪里。这些查询要求 LLM 生成调用外部 API 的代码来回答用户的问题，然而 LLM 很少在第一次尝试时就生成正确的代码，需要根据执行结果进行迭代式的代码精炼。此外，使用 LLM 助手来支持高查询量可能代价高昂。在这项工作中，我们提出了一个框架 EcoAssistant，使 LLM 能够更经济、更准确地回答代码驱动的查询。EcoAssistant 包含三个组件。首先，它允许 LLM 助手与自动代码执行器对话，以迭代精炼代码或基于执行结果生成答案。其次，我们使用分层的 LLM 助手，在回退到更强、更昂贵的模型之前，先尝试用更弱、更便宜的 LLM 回答查询。第三，我们从过去成功的查询中检索解决方案作为上下文示例，以帮助后续查询。实证表明，EcoAssistant 在成本效益和准确性方面具有明显优势，以低于 GPT-4 一半的成本，在成功率上超越 GPT-4 达 10 个百分点。
引用
@article{arxiv.2310.03046,
title = {EcoAssistant: Using LLM Assistant More Affordably and Accurately},
author = {Jieyu Zhang and Ranjay Krishna and Ahmed H. Awadallah and Chi Wang},
journal= {arXiv preprint arXiv:2310.03046},
year = {2023}
}