基于命名实体识别与主题建模的社交媒体自然灾害定位与评估优化解决方案
计算与语言
2024-05-03 v1
摘要
在过去十年中，与其他应用领域类似，社交媒体内容已在灾害信息学中被证明非常有效。然而，由于数据的非结构化特性，社交媒体内容中的灾害分析面临若干挑战。为了充分挖掘社交媒体内容在灾害信息学中的潜力，获取相关内容和正确的地理位置信息至关重要。在本文中，我们提出了一种三步解决方案来应对这些挑战。首先，该解决方案旨在将社交媒体帖子分类为相关和不相关帖子，随后通过命名实体识别（NER）分析从帖子文本中自动提取位置信息。最后，为了快速分析大量社交媒体帖子所涵盖的主题，我们进行了主题建模，得出了一个热门关键词列表，突出了推文中讨论的问题。对于 Twitter 帖子相关分类（RCTP），我们提出了一种基于优点的融合框架，结合了四种不同模型的能力，即 BERT、RoBERTa、Distil BERT 和 ALBERT，在基准数据集上获得了 0.933 的最高 F1 分数。对于 Twitter 文本位置提取（LETT），我们在 NER 框架中评估了四种模型，即 BERT、RoBERTa、Distil BERTA 和 Electra，获得了 0.960 的最高 F1 分数。对于主题建模，我们使用 BERTopic 库发现了相关推文中的隐藏主题模式。所提出的端到端解决方案所有组件的实验结果都非常令人鼓舞，并暗示了社交媒体内容和 NLP 在灾害管理中的潜力。
引用
@article{arxiv.2405.00903,
title = {A Named Entity Recognition and Topic Modeling-based Solution for Locating and Better Assessment of Natural Disasters in Social Media},
author = {Ayaz Mehmood and Muhammad Tayyab Zamir and Muhammad Asif Ayub and Nasir Ahmad and Kashif Ahmad},
journal= {arXiv preprint arXiv:2405.00903},
year = {2024}
}
备注
15 pages; 4 tables; 4 figures