GX-Plug：一种将加速器接入分布式图处理的中间件
分布式、并行与集群计算
2022-04-01 v3
摘要
近来，研究界强调有必要为大规模图处理构建可扩展性连续体，以从分布式图系统获得扩展（scale-out）收益，并从高性能加速器获得扩展（scale-up）收益。为此，我们提出一种称为GX-plug的中间件，以便于集成二者优势。作为中间件，GX-plug可支持不同的运行时环境、计算模型与编程模型。此外，为提升中间件性能，我们研究了一系列技术，包括流水线混洗、同步缓存与跳过、以及工作负载均衡，分别用于迭代内、迭代间及跨迭代优化。实验表明，我们的中间件能高效地将加速器接入代表性的分布式图系统，如GraphX与Powergraph，加速比最高达20倍。
引用
@article{arxiv.2203.13005,
title = {GX-Plug: a Middleware for Plugging Accelerators to Distributed Graph Processing},
author = {Kai Zou and Xike Xie and Qi Li and Deyu Kong},
journal= {arXiv preprint arXiv:2203.13005},
year = {2022}
}
备注
13 pages