Mental-LLM：利用大语言模型通过在线文本数据进行心理健康预测
计算与语言
2024-01-30 v4
摘要
大语言模型（LLMs）的进展赋能了多种应用。然而，在理解与增强 LLMs 于心理健康领域能力的研究方面仍存在显著缺口。本工作中，我们对多个 LLM 在基于在线文本数据的各类心理健康预测任务上进行了全面评估，包括 Alpaca、Alpaca-LoRA、FLAN-T5、GPT-3.5 与 GPT-4。我们开展了广泛实验，涵盖零样本提示、少样本提示与指令微调。结果表明，LLMs 以零样本与少样本提示设计用于心理健康任务时性能有前景但有限。更重要的是，我们的实验显示指令微调可同时显著提升 LLMs 在所有任务上的性能。我们最优微调模型 Mental-Alpaca 与 Mental-FLAN-T5 在平衡准确率上分别以 10.9% 优于最佳提示设计的 GPT-3.5（大 25 和 15 倍），以 4.8% 优于最佳 GPT-4（大 250 和 150 倍）。它们进一步与最先进的任务特定语言模型表现相当。我们还对 LLMs 在心理健康推理任务上的能力开展了探索性案例研究，展示了如 GPT-4 等特定模型的有前景能力。我们将发现总结为一组潜在增强 LLMs 心理健康任务能力的行动指南。同时，我们也强调了在真实心理健康场景中实现可部署前的重要局限，如已知的种族与性别偏见。我们突出了伴随该研究方向的重要伦理风险。
引用
@article{arxiv.2307.14385,
title = {Mental-LLM: Leveraging Large Language Models for Mental Health Prediction via Online Text Data},
author = {Xuhai Xu and Bingsheng Yao and Yuanzhe Dong and Saadia Gabriel and Hong Yu and James Hendler and Marzyeh Ghassemi and Anind K. Dey and Dakuo Wang},
journal= {arXiv preprint arXiv:2307.14385},
year = {2024}
}
备注
Published at Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (IMWUT) 2024