证据缺失不等于证据不足：事实核查中 NEI 构建器工艺的诊断
计算与语言
2026-05-27 v1 信息检索
软件工程
摘要
证据缺失不等于证据不足，但事实核查基准测试可能使其在观察上呈现相似性。Not Enough Information (NEI) 标签常通过不同的证据条件进行操作化，而这种选择默默决定了验证器会学习什么以及其得分能掩盖什么。我们引入 NEI-CAP，这是一种面向不足证据评估的构建器感知诊断协议。每个 NEI 示例都携带其产生的构建家族；NEI-CAP 对快捷线索进行审计，通过人类裁决验证硬案例，并测试能力是否在不同构建之间可迁移。在这些设置中，NEI 能力可靠地迁移不成熟：在快捷易受构建训练的模型无法识别语义上相关的不足证据，混合构建训练也仅能缩小但不消除差距。固定主张诊断进一步表明，证据条件会影响对参考支持/反驳标签的置信度，而不仅仅是 NEI 召回率，因此聚合的 NEI 得分可能掩盖模型实际解决了的哪个问题。
引用
@article{arxiv.2605.26663,
title = {Evidence Absence Is Not Evidence Insufficiency: Diagnosing NEI Construction Artifacts in Fact Verification},
author = {Jingxi Qiu and Zeyu Han and Cheng Huang},
journal= {arXiv preprint arXiv:2605.26663},
year = {2026}
}
备注
Preprint. Under review. 20 pages, 2 figures