Semantic Scan：检测文本流中细微的空间局部化事件

在文本流中及早检测并精确刻画新兴主题，在诸如及时且有针对性的公共卫生干预以及发现演化的地区商业趋势等应用中非常有用。已有许多利用主题建模检测文本流中新兴事件的方法被提出。然而，这些方法存在诸多缺陷，使其不适用于在大规模文本流上快速检测局部新兴事件。在本文中，我们描述了专为克服这些缺陷而开发的 Semantic Scan (SS)，用于在文本流中检测新的空间紧凑事件。Semantic Scan 将新颖的对比主题建模与在线文档分配以及基于似然比的原则性空间扫描相结合，以识别隐藏在文本流中带有异常关键词模式的新兴事件。这使得对异常的、空间局部化的新兴事件的检测与刻画更加及时和准确。Semantic Scan 不需要人工干预或带标签的训练数据，并且对真实世界文本数据中的噪声具有鲁棒性，因为它识别的是出现在新文档簇中的异常文本模式，而非单个新文档中的异常。我们将 Semantic Scan 与替代的最先进方法（如 Topics over Time、Online LDA 和 Labeled LDA）在两项真实世界任务上进行比较：（i）监测阿勒格尼县急诊科自由文本主诉的疾病监测任务，以及（ii）基于 Yelp 评论的新兴商业趋势检测任务。在两项任务上，我们发现 Semantic Scan 提供了比竞争方法显著更好的事件检测与刻画精度，同时实现了高达一个数量级的速度提升。