面向帮派暴力预防的多模态社交媒体分析
机器学习
2018-07-24 v1 计算与语言
机器学习
摘要
帮派暴力是美国主要城市的严重问题，近期研究 [Patton et al. 2017] 发现了与高帮派活动暴露社区中此类暴力相关的社交媒体通信证据。在本文中，我们将计算机科学家与具有帮派暴力领域专业知识的社会工作研究者合作，分析如何利用在 Twitter 上提及帮派关联的青年所发布的带图像公开推文，自动检测可能协助社工和暴力外展人员开展预防与早期干预项目的心理社会因素与状况。为此，我们开发了严谨的推文收集与标注方法。我们收集了 1,851 条推文及与视觉概念和心理社会编码（攻击、丧失和物质使用）相关的标注。这些编码与社会工作干预相关，因为它们代表了社交媒体上通往暴力的可能路径。我们比较了将推文分类为这三类 variously 的方法，仅使用推文文本、仅使用推文图像，或同时使用两种模态作为分类器输入。特别地，我们分析了中级视觉概念的有用性以及不同模态在该推文分类任务中的作用。实验表明，单独来看，文本信息在丧失类的分类性能上占主导，而图像信息在攻击和物质使用类上占主导。我们的多模态方法相比最佳单模态方法提供了非常有前景的改进（平均精度均值相对提升 18%）。最后，我们也阐明了理解社交媒体数据的复杂性并阐述了开放挑战。
引用
@article{arxiv.1807.08465,
title = {Multimodal Social Media Analysis for Gang Violence Prevention},
author = {Philipp Blandfort and Desmond Patton and William R. Frey and Svebor Karaman and Surabhi Bhargava and Fei-Tzin Lee and Siddharth Varia and Chris Kedzie and Michael B. Gaskell and Rossano Schifanella and Kathleen McKeown and Shih-Fu Chang},
journal= {arXiv preprint arXiv:1807.08465},
year = {2018}
}