基于特征-响应中介器的心理测量题目验证

随着心理测量问卷日益用于评估大型语言模型（LLM）的特征，针对LLM的可扩展问卷题目生成也日益增长。一个关键挑战在于确保所生成题目的建构有效性，即它们是否真正测量预期的特征。传统方法需要高成本的大规模人类数据收集。为提高效率，我们提出了使用LLM进行虚拟作答者模拟的框架。我们的核心思想是考虑中介因素：即通过相同特征可引发对同一题目产生不同作答的因素。通过模拟具有不同中介因素的作答者，我们识别出在这些中介因素下，作答结果与预期特征高度相关的题目。在三个心理特征理论（Big5、Schwartz、VIA）上的实验表明，我们的中介生成方法和模拟框架有效识别了高有效性的题目。LLM展示了从特征定义生成合理中介因素以及进行作答行为模拟以进行题目验证的能力。我们的问题表述、指标、方法以及数据集为高效的问卷开发和更深入理解LLM如何模拟人类问卷作答开辟了新方向。我们发布了数据集和代码以支持未来工作。