基于流式与批式数据语义性的社交媒体分析

人们所使用的语言因口音、发音和用词习惯在不同地区而存在差异。在当今时代，语言的共享主要通过社交媒体和博客进行。此类微帖每秒都在涌现，这产生了处理这些微帖以从中提取知识的需求。知识提取因应用而异，认知科学的研究为其中的需求提供了支撑。本工作通过在命名实体识别和作者画像等应用中提取流式与批式数据的语义信息，进一步推进了此类研究。在命名实体识别中，利用了单条微帖的上下文；而用于识别这些微帖作者社会方言特征的上下文则来自微帖集合。本工作利用条件随机场进行实体识别，并提出了一种新方法以发现作者的社会方言特征（性别、年龄段）。