基于层次狄利克雷过程的 Twitter 子故事检测
信息检索
2016-06-14 v1 社会与信息网络
摘要
社交媒体现已成为关于真实世界事件的事实上的信息来源。然而，由于社交媒体流的高容量和高速度特性，挑战在于如何随时间推移追踪与给定事件相关的所有帖子，这一任务被称为故事检测。此外，一个给定事件通常包含多个不同的故事，我们将其称为子故事，而自动检测它们的相应任务被称为子故事检测。本文提出将层次狄利克雷过程（HDP），一种概率主题模型，作为自动子故事检测的有效方法。HDP 能够学习与子故事相关的子主题，这使其能够处理子故事中的细微变化。我们将其与基于局部敏感哈希和谱聚类的最先进故事检测方法进行了比较。我们使用各种评估指标在真实世界的 Twitter 数据集上展示了 HDP 在子故事检测上的卓越性能。HDP 学习子主题的能力帮助其以高精确率召回子故事。本文的另一个贡献在于展示了 Twitter 流中的会话结构可用于显著提升子故事检测的性能。
引用
@article{arxiv.1606.03561,
title = {Sub-Story Detection in Twitter with Hierarchical Dirichlet Processes},
author = {P. K. Srijith and Mark Hepple and Kalina Bontcheva and Daniel Preotiuc-Pietro},
journal= {arXiv preprint arXiv:1606.03561},
year = {2016}
}