理解大型语言模型中参数知识与情境知识的相互作用
计算与语言
2024-10-16 v1
摘要
大型语言模型(LLMs)在预训练期间编码了大量知识(称为参数知识，PK)，并且可以通过纳入情境知识(CK)来进一步增强。LLM 能否有效地将其内部的PK与外部CK集成以解决复杂问题？本文调查了PK和CK之间的动态相互作用，将其关系划分为四种类型：支持型、补充型、冲突型和无关型。为支持这一调查，我们引入了ECHOQA，一个涵盖科学、事实和常识知识的基准。我们的结果表明，LLM倾向于在提供情境信息时抑制其PK，即使该情境信息是补充型或无关型。虽然量身定制的指令可以鼓励LLM更依赖其PK，但它们仍然难以充分利用它。这些发现揭示了LLM在知识密集型任务中的关键漏洞，提升了对其可靠性的关注。资源已可在 https://github.com/sitaocheng/Knowledge_Interplay 获取。
引用
@article{arxiv.2410.08414,
title = {Understanding the Interplay between Parametric and Contextual Knowledge for Large Language Models},
author = {Sitao Cheng and Liangming Pan and Xunjian Yin and Xinyi Wang and William Yang Wang},
journal= {arXiv preprint arXiv:2410.08414},
year = {2024}
}
备注
27 pages, 8 figures and 17 tables