基于大数据技术的社交网络帖子实时压力检测
机器学习
2024-11-08 v1
摘要
在当代生活中，尤其是在第四次工业革命的在线空间里，情绪和情绪经常通过社交媒体帖子表达。分享故事、想法和感受的趋势为大数据生成了广阔且富有前景的数据源。这既为运用技术开发更自动化和准确的社交媒体用户压力检测方法带来了挑战，也带来了机遇。本研究开发了一个用于检测在线帖子中压力的实时系统，使用“Dreaddit：用于社交媒体压力分析的 Reddit 数据集”，该数据集涵盖5个不同的 Reddit 域，包含187,444篇帖子。每个域包含具有压力和非压力内容的文本，展示了各种压力表达。为训练创建了标注数据集，包含3,553行。利用 Apache Kafka、PySpark 和 AirFlow 构建和部署了该模型。逻辑回归在处理新流数据时取得最佳结果，准确率为69.39%，F1 分数为68.97。
引用
@article{arxiv.2411.04532,
title = {Real-time stress detection on social network posts using big data technology},
author = {Hai-Yen Phan Nguyen and Phi-Lan Ly and Duc-Manh Le and Trong-Hop Do},
journal= {arXiv preprint arXiv:2411.04532},
year = {2024}
}
备注
6 pages, 4 figures