中文

基于量化响应均衡的战略高度认知评估:理论与验证用于大语言模型评估

计算机科学与博弈论 2026-03-12 v1

摘要

面向大型语言模型的心理理论基准通常产生没有理论依据的聚合分数,导致难以判断高性能是源于战略推理还是表层启发式方法。我们引入一种基于量化响应均衡(QRE)的游戏论评估框架。我们为四个战略游戏推导闭式均衡解,每个游戏针对不同的认知能力。我们估计 QRE 理性参数 lambda,将模型行为置于连续尺度上,标定对象人数据(lambda_human 范围在 [1.0, 2.5]),并通过鞅浓度 establishing 有限样本收敛界限。跨 1,855 场游戏的验证(包括七个前沿模型及四个扩展模型)确认了预测:欺骗率收敛至均衡值的 4% 内,lambda 估计值在游戏和模型之间范围为 0.05 到 1.10,模型间存在显著差异,认知轮廓在不同认知轴上有所不同。鲁棒性分析揭示了对提示框架和 QRE 排名版本不稳定性的高度敏感性,凸显了需要标准化协议的必要性。

关键词

引用

@article{arxiv.2603.10029,
  title  = {Quantal Response Equilibrium as a Measure of Strategic Sophistication: Theory and Validation for LLM Evaluation},
  author = {Mateo Pechon-Elkins and Jon Chun},
  journal= {arXiv preprint arXiv:2603.10029},
  year   = {2026}
}

备注

25 pages, 8 figures, submitted to UAI 2026