所有泄漏都计数,部分更重要:LLM后置测试中的可解释时序污染检测与缓解
人工智能
2026-05-26 v2 机器学习
摘要
在已解决事件上对LLM进行后置测试假设模型仅从前截止知识进行推理,但预训练模型不可避免地会泄漏后截止知识。我们引入一种主张级评估框架,将预测论证分解为原子主张,并应用Shapley值量化每项主张的决策影响,得到Shapley-DCLR(Shapley加权决策关键泄漏率)——一种衡量何部分决策驱动推理被污染的可解释指标。我们进一步提出TimeSPEC(Time监督预测提取主张),一种在推理时交错进行时序过滤检索的架构,产生完全基于前截止证据的预测。跨三个LLM,消融实验确认检索与监督 jointly necessary;三项探针任务进一步表明,时序强制的性能代价随每个任务对后截止信息依赖程度的增加而增大。
引用
@article{arxiv.2602.17234,
title = {All Leaks Count, Some Count More: Interpretable Temporal Contamination Detection and Mitigation in LLM Backtesting},
author = {Zeyu Zhang and Ryan Chen and Bradly C. Stadie},
journal= {arXiv preprint arXiv:2602.17234},
year = {2026}
}
备注
8 pages plus appendix