缩减以扩展：在生产中用开源 SLM 替代 OpenAI LLM 的成本效益分析
软件工程
2024-05-22 v3 人工智能
机器学习
摘要
许多公司使用作为服务提供的大型语言模型（LLM），如 OpenAI 的 GPT-4，来创建 AI 赋能的产品体验。除了易于使用和缩短解决时间的好处外，这种对专有服务的依赖在模型控制、性能可靠性、正常运行时间可预测性和成本方面也存在缺点。与此同时，大量开源小语言模型（SLM）已可供商业使用。然而，它们替代现有能力的准备情况仍不清楚，并且没有现成的系统方法来全面评估这些 SLM。本文提出了一种系统评估方法，并对现代开源 SLM 及其在为真实产品功能替代专有 LLM 时的权衡进行了表征。我们设计了 SLaM，这是一种开源自动化分析工具，能够对利用任意 SLM 的产品功能进行定量和定性测试。使用 SLaM，我们考察了现代 SLM 相对于使用 OpenAI GPT-4 API 的现有面向客户实现的质量和性能特征。在 9 个 SLM 及其 29 个变体中，我们观察到，与 GPT-4 相比，SLM 提供了有竞争力的结果、显著的性能一致性改进以及 5 倍至 29 倍的成本降低。
引用
@article{arxiv.2312.14972,
title = {Scaling Down to Scale Up: A Cost-Benefit Analysis of Replacing OpenAI's LLM with Open Source SLMs in Production},
author = {Chandra Irugalbandara and Ashish Mahendra and Roland Daynauth and Tharuka Kasthuri Arachchige and Jayanaka Dantanarayana and Krisztian Flautner and Lingjia Tang and Yiping Kang and Jason Mars},
journal= {arXiv preprint arXiv:2312.14972},
year = {2024}
}
备注
Updated title, Revised content