中文

上下文-参数冲突的三种机制:一个预测框架与实证验证

计算与语言 2026-05-13 v1 人工智能 机器学习

摘要

关于大型语言模型如何处理其训练知识与矛盾文档之间冲突的文献,呈现出一个持续的实证矛盾:一些研究发现模型顽固地保留其训练得到的答案,近一半时间忽略提供的文档;而另一些研究则发现模型很容易遵从文档,大约96%的时间遵循上下文。我们认为,一旦认识到先前的实验研究了三种性质不同的处理情境而未加以区分,这些矛盾便迎刃而解。我们提出了一个三机制框架:机制1(单源更新,主导预测因子:证据连贯性),机制2(竞争整合,主导预测因子:参数确定性),以及机制3(任务适应性选择,主导预测因子:任务知识需求)。我们形式化了参数强度(曝光频率)和参数唯一性(编码一致性)之间的区别,通过实证表明它们是正交维度(r = -0.002, p = .97),其中强度是稳定事实领域中的有效预测因子。我们在Claude Sonnet 4.6、GPT-5.5、Gemini 2.5 Flash、Llama 4 Maverick和DeepSeek V3上,通过三个实验阶段的9,970次API调用验证了该框架。GEE逻辑回归确认了所有五个模型预测的第二机制确定性梯度(beta = -0.38 至 -0.50,所有 p <= .013,经BH-FDR校正)。一项第三机制的消融实验显示,仅任务框架就将上下文遵循率从接近100%(上下文知识条件)翻转为6-71%(参数知识条件),所有五个模型均显著(p < .001)。确定性梯度对多项结果建模、模糊回答的敏感性分析以及FDR校正具有鲁棒性。

关键词

引用

@article{arxiv.2605.11574,
  title  = {Three Regimes of Context-Parametric Conflict: A Predictive Framework and Empirical Validation},
  author = {Pruthvinath Jeripity Venkata},
  journal= {arXiv preprint arXiv:2605.11574},
  year   = {2026}
}

备注

10 pages, 13 tables, no figures. 9,970 API calls across five frontier models