TopicBERT：一种基于 Transformer 迁移学习的记忆图多模态流式社交媒体话题检测方法

社交网络的实时性、突发短消息及其在广泛话题间散布的大规模数据，是许多研究者的兴趣所在。社交网络的这些被称为大数据 5V 的特性，催生了许多应用于大型社交网络数据集和数据流的独特且具启发性的算法与技术。其中许多研究基于热点话题和趋势性社交媒体事件的检测与追踪，有助于揭示许多未解问题。这些算法以及某些情况下的软件产品主要依赖于语言本身的特性。尽管无监督数据挖掘等方法与语言无关，但全面解决方案的许多需求未被满足。诸多研究问题，如语法错误的含噪句子和新造在线用户词，对良好社交网络话题检测与追踪方法的维护构成挑战；词语间的语义关系以及大多数情况下的同义词也被许多研究忽略。在本研究中，我们使用 Transformer 结合一种增量式社区检测算法。一方面，Transformer 提供了不同上下文中词语间的语义关系。另一方面，所提出的图挖掘技术借助简单结构规则增强了所得话题。来自多模态数据（图像与文本）的命名实体识别以实体类型标注命名实体，并据此调整提取的话题。所提系统的所有操作均从大数据社交视角在 NoSQL 技术下完成。为给出一个可行且系统的解决方案，我们将 MongoDB 与 Neo4j 结合作为本工作的两个主要数据库系统。所提系统在三个不同数据集上相比其他方法展现出更高的准确率和召回率。