经验证假设作为AI代理人类 likability 评估的镜头
计算机与社会
2026-05-18 v1
摘要
我们提出将经验证的行为假设作为评估LLM代理人类likability的镜头。我们的核心思想是简单的：如果一个代理是人类likable的，那么一群此类代理在运行相同的实验后，应该达到与人类群体相同的推断性结论。数十年的社会科学研究产生了许多此类经验证的发现，每项发现都锚定在具体的实验程序之上，并通过独立复制而稳健地得到证实。这导致一种客观、可分解且可扩展的评估方法。我们通过HumanStudy-Bench实现了该镜头，一个将已发表的人类主体研究转化为可重用仿真环境的开放平台，并对可配置的代理进行评估。它对代理与人类的对齐程度给出两个指标：用于推断一致性的概率对齐得分（PAS）和用于效应大小一致性的效应一致性得分（ECS）。我们精选了一套初始的12项研究，其假设通过独立复制而稳健地确立，并对10个模型在4种代理设计下进行评估。结果显示，代理人的响应在完全复制和完全失败之间呈两极化；代理设计对对齐程度的影响大于模型规模，但其作用是非单调的。
引用
@article{arxiv.2605.15473,
title = {Validated Hypotheses as a Lens for Human-Likeness Evaluation in AI Agents},
author = {Xuan Liu and HaoYang Shang and Zizhang Liu and Yuanjun Feng and Guankai Zhai and Yunze Xiao and Yiwen Tu and Haojian Jin},
journal= {arXiv preprint arXiv:2605.15473},
year = {2026}
}