创意心理测量题目生成器：基于大语言模型的题目生成与验证框架
计算与语言
2024-09-04 v1
摘要
大语言模型（LLMs）日益被用于自动化需要高度创造性的职场流程。尽管已有大量研究考察LLMs的创造力，但是否存在通过LLMs生成有效的人类创造力评估仍缺乏研究，尽管创造力在现代经济中扮演着日益重要的角色。我们构建了一个受心理测量启发的框架，用于创建经典自由响应创造力测试的题目（问题），即创造性问题解决（CPS）任务。我们的框架称为创意心理测量题目生成器（CPIG），它运用混合LLM生成器和评估器，迭代开发新的题目提示，以确保后续迭代的题目能更好地激发试题接受者的创造性回应。我们发现，CPIG生成的题目在效度和可靠性方面均表现出强大的实证证据，且这种效果不归因于已知的评估过程偏差。我们的发现对运用LLMs自动生成有效且可靠的人类创造力测试具有深远意义。
引用
@article{arxiv.2409.00202,
title = {The creative psychometric item generator: a framework for item generation and validation using large language models},
author = {Antonio Laverghetta and Simone Luchini and Averie Linell and Roni Reiter-Palmon and Roger Beaty},
journal= {arXiv preprint arXiv:2409.00202},
year = {2024}
}
备注
CREAI 2024