PsychoGAT:一种通过与大语言模型智能体互动小说游戏进行心理测量的新范式
计算与语言
2024-08-30 v2 计算机与社会
人机交互
机器学习
多智能体系统
摘要
心理测量对于心理健康、自我认知和个人发展至关重要。传统方法,如自陈量表和心理学家访谈,往往面临参与度和可及性的挑战。虽然基于游戏和基于大语言模型 (LLM) 的工具已被探索以提高用户兴趣并自动化评估,但它们难以平衡参与度与通用性。在本工作中,我们提出了 PsychoGAT(心理游戏智能体)以实现心理评估的通用游戏化。主要见解是,强大的 LLM 既可以充当熟练的心理学家,也可以充当创新的游戏设计师。通过将 LLM 智能体纳入指定角色并仔细管理它们的交互,PsychoGAT 可以将任何标准化量表转化为个性化且引人入胜的互动小说游戏。为了验证所提出的方法,我们进行了心理测量评估以评估其有效性,并聘请人类评估者检查生成的内容,涵盖抑郁、认知扭曲和人格特质等各种心理构念。结果表明,PsychoGAT 是一种有效的评估工具,在信度、聚合效度和区分效度等心理测量指标上取得了统计显著的卓越表现。此外,人类评估证实了 PsychoGAT 在内容连贯性、互动性、趣味性、沉浸感和满意度方面的提升。
引用
@article{arxiv.2402.12326,
title = {PsychoGAT: A Novel Psychological Measurement Paradigm through Interactive Fiction Games with LLM Agents},
author = {Qisen Yang and Zekun Wang and Honghui Chen and Shenzhi Wang and Yifan Pu and Xin Gao and Wenhao Huang and Shiji Song and Gao Huang},
journal= {arXiv preprint arXiv:2402.12326},
year = {2024}
}
备注
ACL 2024