LLM 的民主化：自精炼开源模型中成本与性能权衡的探索
计算与语言
2024-06-05 v2 人工智能
性能
摘要
专有 LLM（大语言模型）的主导地位导致了访问受限并引发了信息隐私担忧。高性能的开源替代方案对于信息敏感和高吞吐量的应用至关重要，但其性能往往落后。为弥补这一差距，我们提出（1）一种无外部影响的迭代式自我批评与自我精炼的无目标变体。（2）一种新颖的排序指标——性能、精炼与推理成本分数（PeRFICS）——用于在考虑精炼后性能与成本的情况下为给定任务寻找最优模型。我们的实验表明，从 7B 到 65B 的不同规模的 SoTA（最先进）开源模型平均较其基线性能提升 8.2%。引人注目的是，即便是内存占用极小的模型，如 Vicuna-7B，总体提升 11.74%，在 Vicuna 基准的高创造性开放式任务上提升高达 25.39%。Vicuna-13B 更进一步，在精炼后优于 ChatGPT。本工作对资源受限且信息敏感、希望在不承受过高成本、不妥协性能与隐私的前提下利用 LLM 的环境具有深远意义。领域无关的自精炼过程结合我们的新颖排序指标，促进了模型选择中的明智决策，从而降低成本并推动了高性能语言模型的访问民主化，案例研究亦佐证了这一点。
引用
@article{arxiv.2310.07611,
title = {Democratizing LLMs: An Exploration of Cost-Performance Trade-offs in Self-Refined Open-Source Models},
author = {Sumuk Shashidhar and Abhinav Chinta and Vaibhav Sahai and Zhenhailong Wang and Heng Ji},
journal= {arXiv preprint arXiv:2310.07611},
year = {2024}
}
备注
Accepted to Findings of EMNLP 2023