验证何时失败:组合不可行主张如何逃脱否定
计算与语言
2026-04-14 v1 人工智能
摘要
科学主张验证是确定主张是否由科学证据所支撑的任务,对于确立发现而防止误导信息至关重要。该过程涉及对每一项断言约束进行评估。基于闭合世界假设(CWA),当且仅当所有断言约束都得到正面支持时,才接受该主张。我们指出,现有验证基准无法区分执行该标准严格模型与应用更简单捷径(即显著约束检查)的模型——后者仅对最显著的约束应用 CWA 的否定准则,对该约束得到支持时即接受。由于现有基准通过扰动单个显著元素来构建不可行主张,故不足以区分严格的主张验证与简单显著约束依赖。为区分这两者,我们构建组合不可行主张,其中显著约束得到支持,但非显著约束被矛盾。跨模型家族和模态,通常 saturates 现有基准的模型在这些主张上一致性高接受,确认此类捷径推理的普遍性。通过模型上下文干预,我们发现不同模型和提示策略在共享 ROC 曲线上占据不同位置,表明模型家族之间的差距反映的是验证阈值的差异而非底层推理能力的差异,而组合推理瓶颈是当前验证行为的结构性特性,单靠策略引导无法克服。
引用
@article{arxiv.2604.10990,
title = {When Verification Fails: How Compositionally Infeasible Claims Escape Rejection},
author = {Muxin Liu and Delip Rao and Grace Kim and Chris Callison-Burch},
journal= {arXiv preprint arXiv:2604.10990},
year = {2026}
}
备注
25 pages, 9 figures