基于社交媒体流数据实时预测自杀意念的大数据分析系统
机器学习
2024-04-22 v1 计算与语言
社会与信息网络
摘要
在线社交媒体平台最近已成为我们社会和日常生活不可或缺的一部分。每天，全球用户在这些平台上花费数小时，表达他们的情感和情绪状态并相互联系。分析来自这些平台的海量数据可以提供对公众情绪的清晰洞察，并有助于检测他们的心理状态。及早识别这些健康状况风险可能有助于预防或减少自杀意念的数量，从而潜在地拯救人们的生命。传统技术在处理此类流和大规模数据集方面已变得无效。因此，本文提出了一种基于大数据架构的新方法，用于从社交媒体内容中预测自杀意念。所提出的方法分两个阶段对社交媒体数据进行实际分析：批处理和实时流预测。批处理数据集从Reddit论坛收集，用于模型构建和训练，而流式大数据则使用Twitter streaming API提取，用于实时预测。原始数据经过预处理后，提取的特征被输入到多个Apache Spark ML分类器：NB、LR、LinearSVC、DT、RF和MLP。我们使用各种特征提取技术在不同测试场景下进行了多次实验。批处理阶段的实验结果表明，由(Unigram + Bigram) + CV-IDF提取的特征与MLP分类器在自杀意念分类方面提供了高性能，准确率达到93.47%，随后被应用于实时流预测阶段。
引用
@article{arxiv.2404.12394,
title = {A Big Data Analytics System for Predicting Suicidal Ideation in Real-Time Based on Social Media Streaming Data},
author = {Mohamed A. Allayla and Serkan Ayvaz},
journal= {arXiv preprint arXiv:2404.12394},
year = {2024}
}