中文

从提示到构造:面向心理学的LLM研究双有效度框架

计算机与社会 2025-06-23 v1 人工智能 计算与语言 人机交互

摘要

大型语言模型(LLM)正快速被广泛应用于心理学领域,作为研究工具、实验主体、人类模拟器以及认知模型。然而,将人类测量工具应用于这些系统可能产生矛盾结果,这引发了许多发现可能是测量幻象——即统计性artifact,而非真实心理现象的担忧。本篇视角文章认为,构建AI心理学的稳健科学,必须整合我们学科的两个基本支柱:可靠测量原则与严格因果推断标准。我们提出一种双有效度框架以指导这种整合,阐明了支持主张所需证据随其科学野心的规模。使用LLM进行文本分类可能仅需基本准确性检验,而声称其能模拟焦虑则需要更严格的验证程序。当前实践常未能满足这些要求,常将统计模式匹配当作心理现象的证据。相同模型输出——肯定"我感到焦虑"——的陈述,取决于研究者声称其测量、描述、模拟或建构心理量表,所需的验证策略截然不同。未来工作需要发展心理量表的计算类比,并建立清晰、可扩展的证据标准,而非盲目应用人类测量工具。

关键词

引用

@article{arxiv.2506.16697,
  title  = {From Prompts to Constructs: A Dual-Validity Framework for LLM Research in Psychology},
  author = {Zhicheng Lin},
  journal= {arXiv preprint arXiv:2506.16697},
  year   = {2025}
}