解读概要档案前的话：面向 LLM 元认知自报告的有效性扩展
计算与语言
2026-04-21 v1 人工智能
摘要
临床人格评估在解读实质量表前进行响应有效性筛查。LLM 评估尚未采取此类做法。我们将 PAI 和 MMPI-3 中的有效性扩展框架应用于 20 个前沿模型、524 项元认知探针数据上。实现了六个有效性指标：L (对错误保持自信)、K (对错误下注)、F (撤回共识认可的项目)、Fp (撤回正确答案)、RBS (反向监控) 以及 TRIN (固定响应)。分层分类体系识别出四个模型在 construct 层面无效，两个模型 elevated。有效概要档案的模型会产生项目敏感的自信水平 (均值 r = .18，14 个显著)。无效概要档案的模型则不然 (均值 r = -.20, d = 2.17, p = .001)。链思考训练产生两个相反的响应失真。两个潜在维度解释了 94.6% 的指标方差。随附论文提取了可移植的筛查方案 (Cacioli, 2026e) 并对其进行选择性预测验证 (Cacioli, 2026f)。所有数据与代码：https://github.com/synthiumjp/validity-scaling-llm
引用
@article{arxiv.2604.17707,
title = {Before You Interpret the Profile: Validity Scaling for LLM Metacognitive Self-Report},
author = {Jon-Paul Cacioli},
journal= {arXiv preprint arXiv:2604.17707},
year = {2026}
}
备注
14 pages, 6 figures. Companion to arXiv:2604.15702