基于大型语言模型的认知行为疗法响应生成:对比性研究
计算与语言
2024-01-30 v1 人工智能
摘要
由咨询技术(如认知行为疗法,CBT)中基于预定义或规则场景派生的对话系统,在精神健康应用中发挥着重要作用。尽管需要负责任的响应,但使用新兴的大型语言模型(LLM)生成与情境相关的言语,对于增强这些应用具有潜在价值。本研究构建了以传统Socratic 质询为核心的CBT情境对话模块,采用两种类型的LLM:一种是基于Transformer的对话模型,通过由大阪县(OsakaED)提供的社交媒体同情性咨询数据集进行微调;另一种是OpenAI开发的领先大型语言模型GPT-4。通过比较使用LLM生成响应与不使用LLM生成响应的系统,我们研究了生成响应对主观评估(如情绪变化、认知变化和对话质量(如共情))的影响。结果显示,使用OsakaED模型时未观察到显著性改进。而使用GPT-4时,情绪变化、共情及其他对话质量指标显著提升。结果表明GPT-4具备高度的咨询能力。然而,这也表明即使使用了来自人类咨询数据集训练的对话模型,其结果也不一定优于基于情境的对话。尽管在呈现LLM生成的响应(包括GPT-4)并直接与用户在现实精神健康护理服务中互动可能引发伦理问题,但在使用规则、情境或示例响应的系统中,人类专业人员仍可使用LLM提前生成示例响应或响应模板。
引用
@article{arxiv.2401.15966,
title = {Response Generation for Cognitive Behavioral Therapy with Large Language Models: Comparative Study with Socratic Questioning},
author = {Kenta Izumi and Hiroki Tanaka and Kazuhiro Shidara and Hiroyoshi Adachi and Daisuke Kanayama and Takashi Kudo and Satoshi Nakamura},
journal= {arXiv preprint arXiv:2401.15966},
year = {2024}
}
备注
Accepted by IWSDS2024