通用大语言模型作为领域特定大语言模型的指导者：一种整合抽取与编辑的顺序融合方法
计算与语言
2024-11-14 v2
摘要
在不从头重新训练的情况下更新大语言模型（LLM）引起了广泛兴趣，但伴随着若干挑战。当使用需要跨长文本进行领域专家推理的数据集更新LLM时尤其如此，尽管样本有限。我们将此场景称为少样本领域专家推理更新LLM（FDoR-UL）。传统方法如低秩适应（LoRA）和检索增强生成（RAG）不足以解决这一关键问题，尤其在我们探索一个体现FDoR-UL独特需求的特定医学数据集时表现明显。为了应对这一挑战，我们引入了一种顺序融合方法，将复杂上下文中的知识整合到LLM中。该方法采用两阶段框架：首先利用通用LLM进行关系抽取以从复杂文本中获取知识，然后通过知识编辑（KE）更新领域特定LLM。使用我们的方法，领域特定LLM在问答任务中达到了71.7%的准确率（平均提升39.1%）。此外，我们将评估扩展到我们开发的一个新的经济管理数据集，在该数据集上我们的方法达到了75.0%的准确率（平均提升45.0%）。这些发现强调了我们的方法在跨多个领域的FDoR-UL中的有效性和灵活性。
引用
@article{arxiv.2403.15736,
title = {General LLMs as Instructors for Domain-Specific LLMs: A Sequential Fusion Method to Integrate Extraction and Editing},
author = {Xin Zhang and Tianjie Ju and Huijia Liang and Ying Fu and Qin Zhang},
journal= {arXiv preprint arXiv:2403.15736},
year = {2024}
}
备注
Working in progress