MentaLLaMA:基于大语言模型的可解释社交媒体心理健康分析
计算与语言
2024-02-14 v3
摘要
随着网络技术的发展,社交媒体文本正成为自动心理健康分析的丰富来源。由于传统判别方法存在可解释性低的问题,近期大语言模型已被探索用于可解释的社交媒体心理健康分析,旨在提供详细解释及预测。结果表明,ChatGPT 能为其正确分类生成接近人类的解释。然而,LLM 在零样本/少样本方式下仍取得不令人满意的分类性能。领域特定的微调是一种有效解决方案,但面临两个挑战:1)缺乏高质量训练数据。2)未发布用于可解释心理健康分析的开源 LLM 以降低微调成本。为缓解这些问题,我们构建了首个基于社交媒体的多任务多源可解释心理健康指令(IMHI)数据集,包含 105K 个数据样本。原始社交媒体数据收集自 10 个现有来源,涵盖 8 项心理健康分析任务。我们使用专家编写的少样本提示及收集到的标签来提示 ChatGPT 并从其回复中获取解释。为确保解释的可靠性,我们对生成数据的正确性、一致性和质量执行了严格的自动与人工评估。基于 IMHI 数据集和 LLaMA2 基础模型,我们训练了 MentalLLaMA,这是首个具有指令跟随能力的可解释心理健康分析开源 LLM 系列。我们还在包含 10 个测试集的 IMHI 评测基准上评估了 MentalLLaMA 的性能,考察其预测正确性与解释质量。结果显示,MentalLLaMA 在正确性上接近最先进的判别方法,并生成高质量解释。
引用
@article{arxiv.2309.13567,
title = {MentaLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models},
author = {Kailai Yang and Tianlin Zhang and Ziyan Kuang and Qianqian Xie and Jimin Huang and Sophia Ananiadou},
journal= {arXiv preprint arXiv:2309.13567},
year = {2024}
}
备注
Accepted by WWW 2024