PhDGPT：介绍一个关于大语言模型如何感知心理学研究生和教授的心理测量与语言学数据集
人机交互
2024-11-19 v1 人工智能
计算与语言
计算机与社会
摘要
机器心理学旨在重构大语言模型（LLM）的思维模式，即这些人工智能如何感知和联想概念。本工作引入了 PhDGPT，这是一个提示框架和合成数据集，封装了由 OpenAI 的 GPT-3.5 所感知的博士研究人员和教授的机器心理学。该数据集包含 756,000 个数据点，涵盖 15 个学术事件、2 种生理性别、2 个职业层级以及抑郁、焦虑与压力量表（DASS-42）的 42 个唯一项目响应，共重复 300 次迭代。PhDGPT 将这些心理测量分数与其通俗语言解释相结合。分数与文本的这种协同提供了对模拟学者（如男性/女性博士生或教授）情绪健康状况的双重、全面视角。通过结合网络心理测量学和心理语言学维度，本研究识别出人类数据与 LLM 数据之间的若干相似性与差异。模拟男性教授的心理测量网络在躯体焦虑和情绪焦虑子量表间无差异，这与人类不同。其他 LLM 的拟人化能以高达 80% 的纯度重构人类 DASS 因子。此外，发现不同场景下 LLM 生成的拟人化在编码焦虑的项目上引发的解释在具体性和形象性上较低，这与过往关于人类心理学的研究一致。我们的发现表明，LLM 具有先进但不完整的能力来复现人类心理测量数据的复杂性，揭示了用 LLM 替代人类被试的便利优势与局限性。PhDGPT 还引人入胜地捕捉到了 LLM 根据提示的心理困扰情境特征调整和改变语言模式的能力，为评估这些人工智能的机器心理学开辟了新的量化机遇。
引用
@article{arxiv.2411.10473,
title = {PhDGPT: Introducing a psychometric and linguistic dataset about how large language models perceive graduate students and professors in psychology},
author = {Edoardo Sebastiano De Duro and Enrique Taietta and Riccardo Improta and Massimo Stella},
journal= {arXiv preprint arXiv:2411.10473},
year = {2024}
}
备注
20 pages, 8 figures. Edoardo Sebastiano De Duro and Enrique Taietta equally contributed to this work