基于参数知识引导的增强型大语言模型
计算与语言
2023-05-19 v2 人工智能
机器学习
摘要
大语言模型（LLMs）凭借其令人印象深刻的语言理解与生成能力，已显著推动了自然语言处理（NLP）的发展。然而，由于对相关数据的接触有限，它们在需要专业知识的领域特定任务上的表现可能欠佳。此外，大多数最先进（SOTA）的 LLM 缺乏透明度，只能通过 API 访问，这阻碍了利用领域定制数据进一步微调。而且，向 LLM 的所有者提供私有数据会导致数据隐私问题。为应对这些挑战，我们提出了新颖的参数知识引导（PKG）框架，该框架为 LLM 配备一个知识引导模块，以在不改变 LLM 参数的情况下访问相关知识。我们的 PKG 基于开源的“白盒”语言模型，允许离线记忆 LLM 所需的任何知识。我们证明了我们的 PKG 框架能够在一系列需要事实（+7.9%）、表格（+11.9%）、医疗（+3.0%）和多模态（+8.1%）知识的领域知识密集型任务上增强“黑盒” LLM 的性能。
引用
@article{arxiv.2305.04757,
title = {Augmented Large Language Models with Parametric Knowledge Guiding},
author = {Ziyang Luo and Can Xu and Pu Zhao and Xiubo Geng and Chongyang Tao and Jing Ma and Qingwei Lin and Daxin Jiang},
journal= {arXiv preprint arXiv:2305.04757},
year = {2023}
}