利用大型语言模型进行社交媒体自杀检测（标签有限）
计算与语言
2024-11-04 v3 人工智能
机器学习
摘要
自杀思绪的增多频率凸显了早期检测和干预的重要性。社交媒体平台是用户常分享个人经历并寻求帮助的地方，可用于识别风险人群。然而，日常大量帖子的手动审核是不可行的。本文探索使用大型语言模型(LLMs)自动检测社交媒体帖子中的自杀内容。我们提出一种生成无标签数据伪标签的方法，通过提示LLM，并结合传统分类微调技术以提高标签准确性。为构建强大的自杀检测模型，我们开发了一种集成方法，涉及使用Qwen2-72B-Instruct进行提示，以及使用微调模型如Llama3-8B、Llama3.1-8B和Gemma2-9B。我们在IEEE Big Data 2024 Big Data Cup的Suicide Ideation Detection on Social Media Challenge数据集上进行评估。此外，我们对不同模型和微调策略对检测性能的影响进行了全面分析。实验结果表明，集成模型在检测准确率上显著提高，相较于单个模型提升了5个百分点。它在公开测试集上实现了0.770的加权F1分数，在私有测试集上实现了0.731，为识别社交媒体中的自杀内容提供了有前景的解决方案。我们的分析显示，LLM的选择会影响提示性能，更大的模型提供更好的准确性。我们的代码和模型checkpoint在https://github.com/khanhvynguyen/Suicide_Detection_LLMs公开可用。
引用
@article{arxiv.2410.04501,
title = {Leveraging Large Language Models for Suicide Detection on Social Media with Limited Labels},
author = {Vy Nguyen and Chau Pham},
journal= {arXiv preprint arXiv:2410.04501},
year = {2024}
}
备注
Accepted at IEEE International Conference on Big Data 2024