Polypus:一种用于微博文本抽取与实时情感分析的大数据自部署架构
分布式、并行与集群计算
2018-01-12 v1
摘要
本文提出一种基于大数据技术的并行架构,用于对微博帖子进行实时情感分析。Polypus是一个模块化框架,提供以下功能:(1)从Twitter大规模抽取文本,(2)针对时间范围查询优化的分布式非关系型存储,(3)基于内存的模块间缓冲,(4)实时情感分类,(5)时间序列中的近实时关键词情感聚合,(6)用于与Polypus集群交互的HTTP API,以及(7)用于可视化分析结果的Web界面。整个架构可自部署并基于Docker容器。
引用
@article{arxiv.1801.03710,
title = {Polypus: a Big Data Self-Deployable Architecture for Microblogging Text Extraction and Real-Time Sentiment Analysis},
author = {Rodrigo Martínez-Castaño and Juan C. Pichel and Pablo Gamallo},
journal= {arXiv preprint arXiv:1801.03710},
year = {2018}
}