下钻与编造测试（DDFT）：测量语言模型认知鲁棒性的协议
摘要
当前的语言模型评估衡量的是模型在理想条件下知道什么，而不是在现实压力下知道得有多鲁棒。像 MMLU 和 TruthfulQA 这样的静态基准无法区分缺乏知识的模型与当信息退化或对手探测弱点时验证机制崩溃的模型。我们引入了下钻与编造测试（DDFT），这是一种测量认知鲁棒性的协议：模型在渐进语义压缩和对抗性编造下保持事实准确性的能力。我们提出了一个双系统认知模型，包含一个生成流畅文本的语义系统和一个验证事实准确性的认知验证器。我们的发现基于在 5 个压缩级别下对 8 个知识领域的 9 个前沿模型进行评估（1,800 次轮次级别评估），揭示了认知鲁棒性与传统设计范式是正交的。参数量（r=0.083, p=0.832）和架构类型（r=0.153, p=0.695）均不能显著预测鲁棒性，表明它源于与当前方法不同的训练方法论和验证机制。错误检测能力强烈预测整体鲁棒性（rho=-0.817, p=0.007），表明这是关键瓶颈。我们发现旗舰模型尽管规模庞大但表现出脆弱性，而较小模型却能实现鲁棒的性能，这挑战了关于模型大小与可靠性之间关系的假设。DDFT 框架为在关键应用部署前评估认知鲁棒性提供了理论基础和实用工具。
引用
@article{arxiv.2512.23850,
title = {The Drill-Down and Fabricate Test (DDFT): A Protocol for Measuring Epistemic Robustness in Language Models},
author = {Rahul Baxi},
journal= {arXiv preprint arXiv:2512.23850},
year = {2026}
}
备注
This version strengthens the theoretical and empirical grounding of the CI metric, including explicit analysis of structural dependencies and ranking stability under ablations (e.g., excluding Turn 4). Claims regarding scale and robustness are revised to avoid overgeneralization. The evaluation protocol, jury methodology, and limitations are expanded to clarify assumptions and boundary conditions