“迷失于后文”：量化大型语言模型上下文基础知识的框架
计算与语言
2025-07-09 v1 人工智能
摘要
大型语言模型能够同时利用上下文知识和参数知识，但它们如何优先处理和整合这些知识来源仍有待深入研究。我们引入了 CoPE，一个新颖的评估框架，可跨模型和语言系统地测量上下文知识（CK）和参数知识（PK）。使用我们的英语、西班牙语和丹麦语 MultiWikiAtomic 数据集，我们分析了大型语言模型（LLM）如何在开放式问答中整合上下文、确定信息优先级并融入 PK。我们的分析揭示了一种我们称之为“迷失于后文”的现象，即 LLM 倾向于忽略或降低给定上下文中较后出现的信息的优先级，这揭示了一种影响上下文基础知识的强烈位置偏见。我们进一步发现，推理模型以及使用思维链提示的非推理模型，比不使用 CoT 的非推理模型使用的上下文更少，且未能缓解“迷失于后文”效应。特别是 CoT 提示，会导致较低的召回率和较短的响应，从而导致上下文基础知识退化。基于这些见解，我们设计了基于提示的方法来有效利用输入上下文。将 CoPE 应用于摘要生成的案例研究表明，基于 CK 的提示可以提高事实基础并减少幻觉。
引用
@article{arxiv.2507.05424,
title = {"Lost-in-the-Later": Framework for Quantifying Contextual Grounding in Large Language Models},
author = {Yufei Tao and Adam Hiatt and Rahul Seetharaman and Ameeta Agrawal},
journal= {arXiv preprint arXiv:2507.05424},
year = {2025}
}