PsycoLLM: 提升大语言模型的心理学理解与评估能力
计算与语言
2024-12-09 v3
摘要
近年来，心理健康问题受到广泛关注，大语言模型因其在文本理解和对话方面的能力，成为缓解此类问题的有效技术。然而，该领域的现有研究常受限于数据集缺乏关键先验知识和证据，以及缺乏全面的评估方法。在本文中，我们提出一种专门的心理大语言模型 (LLM)，命名为 PsycoLLM，该模型在提出的高质量心理数据集上进行训练，包括单轮问答、多轮对话和基于知识的问答。具体而言，我们通过三步骤管道构建多轮对话，包括多轮问答生成、证据判断和对话精炼。我们通过从在线平台提取的真实心理案例背景增强了这一过程，提高了生成数据的相关性和适用性。此外，为了比较 PsycoLLM 与其他 LLM 的性能，我们基于中国权威心理咨询考试开发了全面的心理基准测试，包括专业伦理、理论专业知识和案例分析等 assessment。实验结果表明，PsycoLLM 在基准测试上的实验结果展示了其有效性，表明其相对于其他 LLM 具有优越性能。
引用
@article{arxiv.2407.05721,
title = {PsycoLLM: Enhancing LLM for Psychological Understanding and Evaluation},
author = {Jinpeng Hu and Tengteng Dong and Luo Gang and Hui Ma and Peng Zou and Xiao Sun and Dan Guo and Xun Yang and Meng Wang},
journal= {arXiv preprint arXiv:2407.05721},
year = {2024}
}
备注
Accepted by IEEE Transactions on Computational Social Systems. https://github.com/MACLAB-HFUT/PsycoLLM