从 RDMA 到 RDCA：利用远程直接缓存访问实现数据中心网络高速最后一公里
网络与互联网体系结构
2023-03-28 v2 分布式、并行与集群计算
摘要
本文通过系统性测量研究表明，现代分布式应用的高内存带宽消耗会导致高速 RDMA 网络中网络吞吐量显著下降与尾延迟大幅增加。我们将其根本原因归结为应用进程与网络进程之间内存带宽的高争用。这种争用导致接收主机的 NIC 处频繁丢包，触发网络拥塞控制机制，最终造成网络性能退化。为解决该问题，我们提出一个关键观察：对于分布式存储服务，其从网络接收的绝大多数数据最终将由 CPU 写入高速存储介质（如 SSD）。因此，我们提议在处理接收数据时绕过主机内存，以彻底规避此性能瓶颈。具体地，我们设计了 Lamda，一种新颖的接收端缓存处理系统，其消耗少量 CPU 缓存即以线速处理从网络接收的数据。我们实现了 Lamda 原型，并在基于 Clos 的测试平台上广泛评估其性能。结果表明，对于分布式存储应用，Lamda 在存储节点零内存带宽消耗下将网络吞吐量提升 4.7%，并在内存带宽压力下分别将大块与小块数据的网络吞吐量最多提升 17% 与 45%。Lamda 亦可应用于延迟敏感的 HPC 应用，将其通信延迟降低 35.1%。
引用
@article{arxiv.2211.05975,
title = {From RDMA to RDCA: Toward High-Speed Last Mile of Data Center Networks Using Remote Direct Cache Access},
author = {Qiang Li and Qiao Xiang and Derui Liu and Yuxin Wang and Haonan Qiu and Xiaoliang Wang and Jie Zhang and Ridi Wen and Haohao Song and Gexiao Tian and Chenyang Huang and Lulu Chen and Shaozong Liu and Yaohui Wu and Zhiwu Wu and Zicheng Luo and Yuchao Shao and Chao Han and Zhongjie Wu and Jianbo Dong and Zheng Cao and Jinbo Wu and Jiwu Shu and Jiesheng Wu},
journal= {arXiv preprint arXiv:2211.05975},
year = {2023}
}