“合并冲突！”探究外部干扰因素对参数化知识图谱的影响
计算与语言
2023-09-18 v1
摘要
大语言模型（LLMs）在预训练期间获取了广泛的知识，即其参数化知识。然而，为了保持最新并遵循人类指令，LLMs 在与用户交互时不可避免地需要外部知识。这引发了一个关键问题：当外部知识干扰其参数化知识时，LLMs 将如何响应？为研究此问题，我们提出了一个系统引发 LLM 参数化知识并引入外部知识的框架。具体而言，我们通过构建参数化知识图谱来揭示 LLMs 的不同知识结构，并通过不同程度上、方法、位置和格式的干扰因素引入外部知识，从而揭示其影响。我们在黑盒和开源模型上的实验表明，LLMs 倾向于产生偏离其参数化知识的响应，特别是当它们在详细上下文中遇到信息的直接冲突或混淆性变化时。我们还发现，尽管 LLMs 对外部知识的真实性敏感，它们仍可能被无关信息分散注意力。这些发现凸显了在与当前 LLMs 交互时整合外部知识（即使是间接的）产生幻觉的风险。所有数据和结果均已公开。
引用
@article{arxiv.2309.08594,
title = {"Merge Conflicts!" Exploring the Impacts of External Distractors to Parametric Knowledge Graphs},
author = {Cheng Qian and Xinran Zhao and Sherry Tongshuang Wu},
journal= {arXiv preprint arXiv:2309.08594},
year = {2023}
}