Spindle:在 RDMA 上优化原子多播的技术
分布式、并行与集群计算
2023-10-10 v1
摘要
将单边 RDMA 用于复制小数据对象的应用会出乎意料地困难:此类使用会放大任何协议开销。Spindle 是一组优化技术,用于系统性地解决 RDMA 上原子多播这一类挑战。这些技术包括使用新颖的发送端与接收端批处理技术的内存轮询优化、空消息发送逻辑,以及改进的多线程同步。我们将 Spindle 应用于 Derecho(一个用于原子多播的开源 C++ 库),并在该库本身以及构建于 Derecho 之上的符合 OMG 标准的航空电子 DDS 中均获得了显著的性能提升。在 12.5GB/s 的网络上,Derecho 对 10KB 消息的多播带宽利用率从 1GB/s 提升至 9.7GB/s,并且对延迟更加鲁棒。有趣的是,尽管我们的某些技术采用了批处理,延迟却下降了近两个数量级。Spindle 的优化对于其他受协调速度限制的 RDMA 应用也应具有价值。
引用
@article{arxiv.2110.00886,
title = {Spindle: Techniques for Optimizing Atomic Multicast on RDMA},
author = {Sagar Jha and Lorenzo Rosa and Ken Birman},
journal= {arXiv preprint arXiv:2110.00886},
year = {2023}
}
备注
14 pages including 1 page for references. To be submitted to an IEEE journal potentially