中文

分布式流式集群上空间 - 关键词数据的自适应处理

分布式、并行与集群计算 2017-09-11 v1

摘要

支持 GPS 的智能手机的广泛使用,以及微博和社交网络应用(如 Twitter 和 Facebook)的普及,导致了海量地理标记文本数据流的产生。许多应用需要对这些数据流进行实时处理。例如,基于位置的电子优惠券和广告定向系统使广告商能够向数百万用户注册数百万条广告。用户数量通常非常庞大且处于持续移动中,广告也频繁变更。因此,将正确的广告发送给匹配的用户极具挑战性。现有的流式系统要么是集中式的,要么不具备空间 - 关键词感知能力,无法高效支持快速到达的空间 - 关键词数据流的处理。本文提出了 Tornado,一种分布式空间 - 关键词流处理系统。Tornado 具备路由单元以公平分配工作负载,并将数据对象与相应查询共置于相同的处理单元。路由单元使用增强网格(Augmented-Grid),这是一种新颖的结构,配备了用于分发数据对象和查询的高效搜索算法。Tornado 使用评估器针对查询处理数据对象。路由单元通过在不匹配任何查询时不发送数据更新进行处理,从而最小化冗余通信。通过应用动态评估的成本公式(持续表示每个评估器的处理开销),Tornado 能够适应工作负载的变化。利用真实 Twitter 数据进行的空间 - 文本范围查询的大量实验评估表明,就整体系统吞吐量而言,Tornado 的性能优于非空间 - 文本感知方法高达两个数量级。

关键词

引用

@article{arxiv.1709.02533,
  title  = {Adaptive Processing of Spatial-Keyword Data Over a Distributed Streaming Cluster},
  author = {Ahmed R. Mahmood and Anas Daghistani and Ahmed M. Aly and Walid G. Aref and Mingjie Tang and Saleh Basalamah and Sunil Prabhakar},
  journal= {arXiv preprint arXiv:1709.02533},
  year   = {2017}
}