基于大型语言模型的可解释心理健康分析
计算与语言
2024-10-03 v4
摘要
最新的大型语言模型（LLM），如 ChatGPT，在自动化心理健康分析方面展现出强大的能力。然而，现有的相关研究存在若干局限性，包括评估不足、缺乏提示策略以及未探索 LLM 在可解释性方面的潜力。为了弥补这些空白，我们在 5 项任务的 11 个数据集上全面评估了 LLM 的心理健康分析和情感推理能力。我们探索了结合无监督和远程监督情感信息的不同提示策略的效果。基于这些提示，我们通过指示 LLM 为其每一个决策生成解释，探索了 LLM 在可解释心理健康分析方面的应用。我们进行了严格的人工评估以衡量生成解释的质量，从而构建了一个包含 163 条人工评估解释的新数据集。我们在该数据集上对现有的自动评估指标进行了基准测试，以指导未来的相关工作。结果表明，ChatGPT 展现出强大的上下文学习能力，但与先进的任务特定方法仍存在显著差距。精心设计的带有情感线索和专家编写的少样本示例的提示工程，也能有效提升心理健康分析的性能。此外，ChatGPT 生成的解释接近人类水平，展现了其在可解释心理健康分析方面的巨大潜力。
引用
@article{arxiv.2304.03347,
title = {Towards Interpretable Mental Health Analysis with Large Language Models},
author = {Kailai Yang and Shaoxiong Ji and Tianlin Zhang and Qianqian Xie and Ziyan Kuang and Sophia Ananiadou},
journal= {arXiv preprint arXiv:2304.03347},
year = {2024}
}
备注
Accepted by EMNLP 2023 main conference as a long paper