面向时态属性图的分布式路径查询引擎
摘要
属性图是一种常见形式的关联数据,路径查询用于遍历和探索它们以进行企业事务和挖掘。时态属性图是近期的一种变体,其中时间作为一等实体可被查询,且其属性和结构随时间变化。这类图出现在社交、电信、交通和流行病网络中。然而,当前的图数据库和查询引擎对图实体间时态关系的支持有限,不支持时变实体,和/或无法在分布式资源上扩展。我们通过将属性图上的线性路径查询模型扩展为包含直观的时态谓词和针对时态图的聚合算子来弥补这一差距。我们使用以区间为中心的计算模型为这些时态路径查询设计了一种分布式执行模型,并开发了一种新颖代价模型以从多个方案中选择高效执行计划。我们使用源自 LDBC 基准的静态和动态时态属性图(最大达 52M 顶点、218M 边和 325M 属性)以及 1600 条查询的工作负载,对我们的 Granite 分布式查询引擎进行了详细实验。在商用集群上我们经常提供亚秒级查询延迟,比行业领先的 Neo4J 共享内存图数据库以及 JanusGraph / Spark 分布式图查询引擎快 149 倍至 1140 倍。Granite 还完成了所有图的 100% 查询,而基线系统仅完成 32-92% 的工作负载。此外,我们的代价模型在 90% 的情况下选择的查询计划执行时间处于最优执行时间的 10% 以内。尽管图处理具有不规则性,对于大多数查询工作负载,我们在 8 节点上展现出 >= 60% 的弱扩展效率,在 16 节点上 >= 40%。
引用
@article{arxiv.2002.03274,
title = {A Distributed Path Query Engine for Temporal Property Graphs},
author = {Shriram Ramesh and Animesh Baranawal and Yogesh Simmhan},
journal= {arXiv preprint arXiv:2002.03274},
year = {2020}
}
备注
An extended version of the paper that appears in IEEE/ACM International Symposium on Cluster, Cloud and Internet Computing (CCGrid), 2020