模拟无知失败：对模型知识截止日期前预测问题中LLM行为的系统研究
计算与语言
2026-01-21 v1 人工智能
摘要
评估大型语言模型（LLM）的预测能力受到一个基本矛盾的制约：前瞻性评估提供了方法上的严谨性，但延迟性过高，而回顾性预测（RF）——对已解决的事件进行评估——则面临着随着最先进模型拥有越来越近的知识截止日期，干净的评估数据迅速减少的问题。模拟无知（SI），即提示模型抑制截止日期前的知识，已成为一种潜在的解决方案。我们首次对 SI 是否能近似真实无知（TI）进行了系统测试。在 477 个竞赛级别的问题和 9 个模型上，我们发现 SI 系统性地失败：（1）截止日期指令在 SI 和 TI 之间留下了 52% 的性能差距；（2）思维链推理未能抑制先验知识，即使推理轨迹中不包含明确的截止日期后引用；（3）推理优化模型尽管推理轨迹质量更高，但表现出更差的 SI 保真度。这些发现表明，提示无法可靠地“回退”模型知识。我们得出结论，对截止日期前事件进行回顾性预测在方法论上存在缺陷；我们建议不要使用基于 SI 的回顾性设置来基准测试预测能力。
引用
@article{arxiv.2601.13717,
title = {Simulated Ignorance Fails: A Systematic Study of LLM Behaviors on Forecasting Problems Before Model Knowledge Cutoff},
author = {Zehan Li and Yuxuan Wang and Ali El Lahib and Ying-Jieh Xia and Xinyu Pi},
journal= {arXiv preprint arXiv:2601.13717},
year = {2026}
}