自适应变色龙还是固执树懒：揭示大语言模型在知识冲突中的行为

通过向大语言模型（LLMs）提供外部信息，工具增强（包括检索增强）已成为解决LLMs静态参数记忆局限性的一种有前景的方案。然而，LLMs对这类外部证据的可接受程度如何，尤其当证据与其参数记忆相冲突时？我们首次对LLMs遭遇知识冲突时的行为进行了全面且受控的研究。我们提出一个系统性框架，以从LLMs中引出高质量参数记忆并构建相应的反记忆，从而得以开展一系列受控实验。我们的研究揭示了LLMs看似矛盾的行为。一方面，与先前的认知不同，我们发现即便外部证据与其参数记忆冲突，只要该证据连贯且具说服力，LLMs也可高度接受之。另一方面，当外部证据包含某些与其参数记忆一致的信息时，尽管同时呈现了冲突证据，LLMs仍表现出强烈的确认偏置。这些结果对工具和检索增强LLMs的进一步开发与部署具有重要启示意义。资源见 https://github.com/OSU-NLP-Group/LLM-Knowledge-Conflict。