ChatGPT用于社交媒体自杀风险评估：模型性能、潜力与局限的定量评价
计算与语言
2023-06-19 v1 人工智能
机器学习
摘要
本文提出一种新颖框架，利用马里兰大学Reddit自杀倾向数据集，对交互式ChatGPT模型从社交媒体帖子中进行自杀倾向评估的任务开展定量评价。我们通过零样本与少样本实验对ChatGPT在该任务上的性能进行技术评估，并将其结果与两个微调的基于Transformer的模型进行比较。此外，我们考察了不同温度参数对ChatGPT回复生成的影响，并基于ChatGPT的不确定率讨论了最优温度。我们的结果表明，尽管ChatGPT在该任务中达到了可观的准确率，但在人类标注数据集上微调的基于Transformer的模型表现更优。此外，我们的分析阐明了调整ChatGPT超参数如何提升其协助心理健康专业人员完成这一关键任务的能力。
引用
@article{arxiv.2306.09390,
title = {ChatGPT for Suicide Risk Assessment on Social Media: Quantitative Evaluation of Model Performance, Potentials and Limitations},
author = {Hamideh Ghanadian and Isar Nejadgholi and Hussein Al Osman},
journal= {arXiv preprint arXiv:2306.09390},
year = {2023}
}