BLADE：利用小型领域特定模型增强黑盒大语言模型
计算与语言
2024-03-28 v1
摘要
诸如 ChatGPT 和 GPT-4 之类的大语言模型功能多样，能够处理各种不同的任务。然而，在开放领域数据上训练的通用 LLM 可能缺乏垂直领域（如法律、医疗等）任务所需的领域特定知识。为了解决这个问题，以前的方法要么使用领域特定数据进行连续预训练，要么采用检索增强来支持通用 LLM。不幸的是，这些策略在实际应用中要么成本高昂，要么不可靠。为此，我们提出了一个名为 BLADE 的新框架，该框架利用小型领域特定模型来增强黑盒大语言模型。BLADE 由一个黑盒 LLM 和一个小型领域特定 LM 组成。小型 LM 保留领域特定知识并提供专业见解，而通用 LLM 则贡献强大的语言理解和推理能力。具体而言，我们的方法包括三个步骤：1) 使用领域特定数据对小型 LM 进行预训练，2) 使用知识指令数据微调此模型，3) 联合贝叶斯优化通用 LLM 和小型 LM。在公开的法律和医疗基准上进行的大量实验表明，BLADE 显著优于现有方法。这表明 BLADE 作为一种有效且具有成本效益的解决方案，在使通用 LLM 适应垂直领域方面具有潜力。
引用
@article{arxiv.2403.18365,
title = {BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models},
author = {Haitao Li and Qingyao Ai and Jia Chen and Qian Dong and Zhijing Wu and Yiqun Liu and Chong Chen and Qi Tian},
journal= {arXiv preprint arXiv:2403.18365},
year = {2024}
}
备注
11pages