AIPsychoBench：理解LLM与人类之间的心理测量学差异
计算与语言
2025-09-23 v1 人工智能
摘要
拥有数千亿参数的大型语言模型（LLM）通过从海量互联网规模数据中学习，展现出了类似人类的智能。然而，大规模神经网络的不透明性引发了对LLM可靠性的担忧。已有研究尝试借用人类心理学概念来评估LLM的心理测量学特性，以增强其可解释性，但这些研究未能考虑到LLM与人类之间的根本差异。这导致直接复用人类量表时拒绝率很高。此外，这些量表不支持测量LLM在不同语言中心理属性的变化。本文介绍了AIPsychoBench，一个专门用于评估LLM心理属性的基准。它使用轻量级的角色扮演提示来绕过LLM的对齐机制，将平均有效响应率从70.12%提高到90.40%。同时，平均偏差仅为3.3%（正向）和2.1%（负向），显著低于传统越狱提示所造成的9.8%和6.9%的偏差。此外，在总共112个心理测量学子类别中，七种语言与英语相比的得分偏差在43个子类别中从5%到20.2%不等，这为语言对LLM心理测量学的影响提供了首个全面的证据。
引用
@article{arxiv.2509.16530,
title = {AIPsychoBench: Understanding the Psychometric Differences between LLMs and Humans},
author = {Wei Xie and Shuoyoucheng Ma and Zhenhua Wang and Enze Wang and Kai Chen and Xiaobing Sun and Baosheng Wang},
journal= {arXiv preprint arXiv:2509.16530},
year = {2025}
}
备注
Thank you for your attention. This paper was accepted by the CogSci 2025 conference in April and published in August. The location in the proceedings is: https://escholarship.org/uc/item/39k8f46q