元数据可预测性不等同于证据依赖性：基于干预的弱标签基准审计
计算与语言
2026-05-25 v1
摘要
我们研究了弱标签基准的协议级测试：基准输出在提供证据被干预后是否发生变化。元数据专线检查回答的是另一个问题，即输出是否可从元数据先验中预测。因此，我们将一种元数据统计量——元数据先验主导度分数(MPDS)——与一种证据干预统计量{\Delta}Evi结合，后者测量对证据身份在跨项目随机化下的敏感性。合成HotpotQA给出了一个元数据专线筛选的反例：MPDS仅为0.643， yet {\Delta}Evi为零。更强读者的再运行显示校准为何属于测试程序中：SNLI显示校准反转，重建的HotpotQA占据问题主导的警告区域，FEVER在四个transformer模型中为强证据敏感的正面控制。实践中的简单教训是：基准审计应同时报告元数据专线筛选、证据干预和读者强度校准。
引用
@article{arxiv.2605.23701,
title = {Metadata Predictability Is Not Evidence Dependence: An Intervention-Based Audit for Weak-Label Benchmarks},
author = {Kan Shao},
journal= {arXiv preprint arXiv:2605.23701},
year = {2026}
}
备注
5 pages, 1 figure, 1 table. Accepted at ICML 2026 Workshop on Hypothesis Testing