EAGr:支持大规模动态图上连续自我中心聚合查询
数据库
2014-04-29 v1
摘要
在这项工作中,我们提出了EAGr,一个支持在大型、高度动态且快速演化的图上进行大量基于邻域的连续聚合查询(即“自我中心”聚合查询)的系统。此类查询的例子包括社交网络中的个性化定制趋势计算、金融交易网络中的异常/事件检测、时空网络中的局部搜索和警报等。支持此类连续查询的关键挑战包括通常在这些情况下出现的高更新率、需要同时执行的大量查询以及严格的低延迟要求。我们提出了一个灵活、通用且可扩展的内存框架,用于在大型动态图上以低延迟执行不同类型的自我中心聚合查询。我们的框架围绕聚合覆盖图这一概念构建,这是一个预编译的数据结构,编码了在收到更新/查询时要执行的计算。覆盖图支持在多个自我中心查询(对应于图中的节点)之间共享部分聚合,并允许部分预计算聚合以最小化查询延迟。我们提出了几种高度可扩展的技术来构建给定聚合函数的覆盖图,并设计了处理底层图结构变化的增量算法。我们还提出了一种最优的多项式时间算法,用于在给定覆盖图的情况下做出预计算决策,并评估了一种随着工作负载变化而增量调整这些决策的方法。尽管我们的方法自然可并行化,但我们专注于单机部署,并表明我们的技术可以轻松处理多达3.2亿个节点和边的图,并使用单台强大机器实现超过50万次/秒的更新/查询吞吐量。
引用
@article{arxiv.1404.6570,
title = {EAGr: Supporting Continuous Ego-centric Aggregate Queries over Large Dynamic Graphs},
author = {Jayanta Mondal and Amol Deshpande},
journal= {arXiv preprint arXiv:1404.6570},
year = {2014}
}
备注
18 pages, 1 table, 14 figures