MT-lib：面向超级计算机上 Graph500 的拓扑感知消息传输库
分布式、并行与集群计算
2021-03-30 v1 硬件体系结构
摘要
我们提出 MT-lib，一个用于超级计算机上 Graph500 等基准测试中消息收集与散射的高效消息传输库。我们的库包含 MST 版本以及 new-MST 版本。MT-lib 被刻意保持轻量、高效并为大规模图遍历提供友好接口。MST 提供（1）一种新颖的非阻塞通信方案，异步发送和接收消息以重叠计算与通信；（2）根据目标进程合并消息以降低通信开销；（3）一种在组间转发前先收集组内消息的新通信模式以减少通信流量。在 MT-lib 中，有（1）单边消息；（2）双边消息；以及（3）带缓冲的双边消息，其中构建了用于消息传递的动态缓冲扩展。我们使用 MST 进行实验，随后在天河超级计算机上用 MST 测试 Graph500。实验结果表明，对于 BFS 和 SSSP 通信操作均具有高压缩效率和吞吐量。
引用
@article{arxiv.2103.15024,
title = {MT-lib: A Topology-aware Message Transfer Library for Graph500 on Supercomputers},
author = {Xinbiao Gan and Wen Tan},
journal= {arXiv preprint arXiv:2103.15024},
year = {2021}
}