ChatGPT 在基于 NLP 的心理健康应用中的评估
计算与语言
2023-03-29 v1 人工智能
摘要
大型语言模型（LLM）在多项自然语言理解任务中取得了成功，并可能与基于自然语言处理（NLP）的心理健康应用研究相关。本文中，我们报告了基于 LLM 的 ChatGPT（后端为 gpt-3.5-turbo）在三项基于文本的心理健康分类任务中的表现：压力检测（二分类）、抑郁检测（二分类）和自杀倾向检测（五分类）。我们从公开数据集中获取了这三项分类任务的标注社交媒体帖子。随后 ChatGPT API 通过分类输入提示对社交媒体帖子进行分类。我们在压力检测、抑郁检测和自杀倾向检测中分别获得了 0.73、0.86 和 0.37 的 F1 分数。始终预测主导类别的基线模型得到的 F1 分数分别为 0.35、0.60 和 0.19。使用 ChatGPT 获得的零样本分类准确率表明了语言模型在心理健康分类任务中的潜在用途。
引用
@article{arxiv.2303.15727,
title = {Evaluation of ChatGPT for NLP-based Mental Health Applications},
author = {Bishal Lamichhane},
journal= {arXiv preprint arXiv:2303.15727},
year = {2023}
}