低预算下更优的问答模型
计算与语言
2023-04-26 v1
摘要
低秩适应（LoRA）与来自大语言模型（LLM）的问答数据集，已使小得多的模型能被微调至展现出复杂对话能力的程度变得容易得多。本文中，我们提出 Eluwa，一个使用 Stanford Alpaca 数据集并大幅提升 Facebook 的 OPT 1.3B、2.7B 与 6.7B 模型能力的 LoRA 模型族。我们以多种方式对这些模型进行基准测试，包括让 GPT-4 评判其对涵盖通用知识、写作、编程及其他任务提示的回答。我们表明，此处较小模型可被微调得与规模大 3 倍的模型性能相当——全部计算开销仅低至 40 美元。
引用
@article{arxiv.2304.12370,
title = {Better Question-Answering Models on a Budget},
author = {Yudhanjaya Wijeratne and Ishan Marikar},
journal= {arXiv preprint arXiv:2304.12370},
year = {2023}
}
备注
5 pages, code and datasets available