LLM 中的时空事实冲突：统一 DYNAMICQA 和 MULAN 的可重复性见解
摘要
大型语言模型（LLMs）常常在面对时空事实冲突时感到困难，due to training data 中的过时或不断演变的信息。最近有两项研究及其随附数据集得出相反结论：外部 context 是否有效解决此类冲突。 DYNAMICQA 评估外部 context 在改变 model 输出分布方面的效果，发现时空事实对 change 不易受影响。相比之下，MULAN 检查外部 context 更改记忆事实的频率，得出时空事实更容易被更新。在本可重复性论文中，我们首先复现两个基准的实验。 then we 在另一个基准的数据集上复现每个研究的实验，以 investigate disagreement 的 source。为 enable 对 findings 进行直接比较，我们 standardise 两个数据集以 align with each study 的 evaluation settings。重要的是，使用 LLM，我们 synthetically generate 真实自然语言 contexts 来 replace MULAN 的 programatically constructed statements when reproducing DYNAMICQA 的 findings。我们的 analysis reveals strong dataset dependence：MULAN 的 findings 在两种 methodological frameworks 下 generalise，而将 MULAN 的 evaluation 应用于 DYNAMICQA yields mixed outcomes。最后，虽然原始研究仅考虑 7B LLMs，我们在不同规模的 LLMs 上复现这些实验，揭示了 model size 对时空 facts 的 encoding 和 updating 具有影响。我们的 results highlight dataset design、evaluation metrics 和 model size 如何塑造 LLM 在时空 knowledge conflicts 存在下的 behavior。
引用
@article{arxiv.2603.15892,
title = {Temporal Fact Conflicts in LLMs: Reproducibility Insights from Unifying DYNAMICQA and MULAN},
author = {Ritajit Dey and Iadh Ounis and Graham McDonald and Yashar Moshfeghi},
journal= {arXiv preprint arXiv:2603.15892},
year = {2026}
}