图数据库接口：将在线事务与在线分析图工作负载扩展至数十万核
数据库
2023-11-21 v3 分布式、并行与集群计算
摘要
图数据库（GDBs）在学术与工业应用中至关重要。开发 GDB 的关键挑战在于实现高性能、可扩展性、可编程性与可移植性。为应对这些挑战，我们借助 HPC 领域的成熟实践构建了一个系统，在 OLTP 与 OLAP 工作负载上均以数量级优势超越文献中所有既往 GDB。为此，我们首先识别并凝练 GDB 设计中性能关键的构建块，并受 MPI 最佳实践启发，将其抽象为一个可移植且可编程的 API 规范，称为图数据库接口（GDI）。随后我们利用 GDI 为分布式内存 RDMA 架构设计 GDB。我们的实现利用单边 RDMA 通信与集合操作，并提供架构无关的理论性能保证。最终设计实现了超过十万核的极大规模。我们的工作将促进下一代极致规模图数据库的开发。
引用
@article{arxiv.2305.11162,
title = {The Graph Database Interface: Scaling Online Transactional and Analytical Graph Workloads to Hundreds of Thousands of Cores},
author = {Maciej Besta and Robert Gerstenberger and Marc Fischer and Michał Podstawski and Nils Blach and Berke Egeli and Georgy Mitenkov and Wojciech Chlapek and Marek Michalewicz and Hubert Niewiadomski and Jürgen Müller and Torsten Hoefler},
journal= {arXiv preprint arXiv:2305.11162},
year = {2023}
}
备注
Best Paper Finalist at ACM Supercomputing '23 (SC '23)