从轨迹到衡量:大语言模型作为心理测量从文本中的工具
人机交互
2024-10-15 v2
摘要
大型语言模型越来越多地被用于对文本数据中的心理特征进行标记或评分。这一方法有助于解决数字轨迹数据的一个限制因素——其缺乏内在的测量目标。然而,这种方法也属于一种心理测量(使用可观察变量来量化假设的潜在 constructs)。因此,这些评级受到与更标准心理测量相同的心理测量考虑因素的制约。本文提出了一种用于开发和评估基于大型语言模型的心理特征测量工作流程,这种工作流程包含这些考虑因素。我们还提供了一个示例,尝试从文本中测量已建立的 constructs,包括态度确定性、重要性和道德化。使用一组改编自现有测量仪器的提示词,我们发现这些提示词在内部一致性方面表现良好,但仅部分满足有效性准则。
引用
@article{arxiv.2405.07447,
title = {From traces to measures: Large language models as a tool for psychological measurement from text},
author = {Joseph J. P. Simons and Wong Liang Ze and Prasanta Bhattacharya and Brandon Siyuan Loh and Wei Gao},
journal= {arXiv preprint arXiv:2405.07447},
year = {2024}
}
备注
Added example applying the approach to measuring attitude properties from Twitter data