当上下文主导而参数化记忆跟从时：大语言模型中的知识利用
计算与语言
2024-11-22 v4 人工智能
摘要
大语言模型（LLM）在利用多样化知识源方面展现出了显著进展。本研究探讨了在知识一致场景下回答开放式问题时，九个广泛使用的 LLM 如何在局部上下文和全局参数之间分配知识。我们引入了一个新颖的数据集 WikiAtomic，并系统地改变上下文大小，以分析在知识一致场景下 LLM 如何优先考虑和利用所提供的信息及其参数化知识。此外，我们还研究了它们在不同上下文大小下的幻觉倾向。我们的发现揭示了模型间的一致模式，包括对上下文知识（约 70%）和参数化知识（约 30%）的持续依赖，以及幻觉随着上下文增加而减少的现象。这些见解强调了更有效的上下文组织以及开发能更确定性地使用输入以实现稳健性能的模型的重要性。
引用
@article{arxiv.2409.08435,
title = {When Context Leads but Parametric Memory Follows in Large Language Models},
author = {Yufei Tao and Adam Hiatt and Erik Haake and Antonie J. Jetter and Ameeta Agrawal},
journal= {arXiv preprint arXiv:2409.08435},
year = {2024}
}
备注
Accepted by EMNLP 2024 Main Conference