基于Apache Storm分布式框架释放推文分析中话题标签的威力
分布式、并行与集群计算
2019-01-29 v1 信息检索
社会与信息网络
摘要
Twitter是一个流行的社交网络平台，用户可互动并发布称为推文、最多280字符的文本。话题标签是推文中的超链接词，对推文检索与搜索已变得日益关键。利用话题标签进行推文主题分类是一个具有挑战性的问题，因为短推文中词语间存在上下文依赖，还有俚语、缩写和表情符号，且话题标签的用法不断演变。由于Twitter每日产生数百万条推文，推文分析是大资料流的一个基本问题，常需要实时分布式处理。本文提出一种利用话题标签进行推文主题分类的分布式在线方法。我们的方法基于分布式实时框架Apache Storm实现，增量识别并更新朴素贝叶斯模型中对每条到达推文实例进行分类的一组强预测变量。初步实验显示出有前景的结果，在八个处理器上准确率高达97%，吞吐量提升37%。
引用
@article{arxiv.1812.01141,
title = {Unleashing the Power of Hashtags in Tweet Analytics with Distributed Framework on Apache Storm},
author = {Vibhuti Gupta and Rattikorn Hewett},
journal= {arXiv preprint arXiv:1812.01141},
year = {2019}
}
备注
IEEE International Conference on Big Data 2018