基于生成式预训练模型的照护者治疗聊天机器人评估
人机交互
2021-07-29 v1 计算机与社会
摘要
随着现成智能家用产品的出现与互联网更广泛的应用,研究人员日益探索可提供更易获取健康与保健资源的智能计算应用。基于AI的系统如聊天机器人有潜力提供心理健康支持服务。然而,现有治疗聊天机器人常基于检索,要求用户以受限的答案集回应,考虑到此类预定询问可能无法反映每位患者的独特情况,这或许并不合适。基于生成的方法,如OpenAI GPT模型,可比以往方法在治疗聊天机器人情境中实现更动态的对话。为探究基于生成的模型在治疗聊天机器人情境中的潜力,我们使用GPT-2模型构建了聊天机器人。我们以306份痴呆症患者家庭照护者与实施问题解决疗法的治疗师之间的治疗会话转录文本对其微调。随后,我们使用三种元信息度量:非词输出比例、回复长度与情感成分,评估了该模型的预训练与微调版本的基本质量。结果表明:(1)微调模型比预训练模型产生更多非词输出;(2)相比预训练模型,微调模型生成的输出长度更接近于治疗师;(3)预训练与微调模型均可能比治疗师生成更多负面与更少正面输出。我们讨论了该问题的潜在原因、影响与开发治疗聊天机器人的解决方案,并呼吁对基于AI的系统应用展开研究。
引用
@article{arxiv.2107.13115,
title = {An Evaluation of Generative Pre-Training Model-based Therapy Chatbot for Caregivers},
author = {Lu Wang and Munif Ishad Mujib and Jake Williams and George Demiris and Jina Huh-Yoo},
journal= {arXiv preprint arXiv:2107.13115},
year = {2021}
}