NetClone：面向微秒级 RPC 的快速、可扩展、动态请求克隆

生成重复请求（称为克隆）是一种通过掩盖服务时间波动来降低尾延迟的有力技术。然而，传统的基于客户端的克隆是静态的，在高负载下有害于性能，而近期基于协调器的方法缓慢且不可扩展。这两种方法均不足以服务现代微秒级远程过程调用（RPC）。为此，我们提出 NetClone，一种在纳秒尺度上动态执行克隆决策且可扩展的请求克隆系统。NetClone 不在客户端或协调器中进行请求克隆，而是利用可编程交换机 ASIC 的能力在网络交换机中完成。具体而言，NetClone 基于服务器状态在交换机数据面复制请求，并利用请求指纹阻断冗余响应。为在满足严格硬件约束的同时实现该构想，我们在设计定制交换机数据面时解决了若干技术挑战。NetClone 可与 RackSched 等新兴网内请求调度器集成。我们使用 Intel Tofino 交换机与一组商用服务器实现了 NetClone 原型。实验结果表明，NetClone 能改善合成与真实应用负载下微秒级 RPC 的尾延迟，并对多种系统条件具有鲁棒性。