重新审视知识注入框架
计算与语言
2023-11-03 v1 人工智能
摘要
近年来，大型语言模型（LLMs）如 GPTs 在全球产生重大影响。然而，如何利用外部知识使这些 LLMs 更好适配垂直领域特定任务仍未被完全解决。确实，已有少数相关工作，其中多数依赖一种对齐启发式方法，将相应知识元组注入关联文本样本。然而，尽管有前景，我们发现此类工作中普遍存在一关键问题。简言之，我们发现向 LLMs 注入未对齐（即随机）知识元组取得了与注入对齐知识相当（有时更优）的结果。因此我们对该令人沮丧的发现于多项相关先前工作中做了彻底调查，并进一步给出该现象的一系列潜在解释。基于此，我们提供一种简单补救技术。简要说，该技术核心根植于一种理念强调：对注入 LLMs 的外部知识库进行剪枝与净化。最后，我们展示通过将该技术整合进大多数（若非全部）知识注入框架与近期 LLMs，其得以克服上述合理性问题，并进一步推进领域自适应 LLMs 的性能边界。
引用
@article{arxiv.2311.01150,
title = {Revisiting the Knowledge Injection Frameworks},
author = {Peng Fu and Yiming Zhang and Haobo Wang and Weikang Qiu and Junbo Zhao},
journal= {arXiv preprint arXiv:2311.01150},
year = {2023}
}
备注
9 pages, 6 figures, accepted by EMNLP 2023 Main