面向神经网络驱动流量分析的数据平面协处理器——Inference-to-complete

神经网络驱动的智能数据平面（NN-driven IDP）正在成为一种具有卓越准确性和高性能的 emerging 主题。与此同时，我们认为 NN-driven IDP 必须满足三个设计目标：支持 various NN 模型的灵活性、低延迟高吞吐的推理性能以及不损害性能和功能的数据平面无感知性。不幸的是，现有工作要么过度修改 NN 以适用于 IDP，要么在数据平面中插入内联流水线加速器，未能满足灵活性和无感知性目标。本文提出 Kaleidoscope，一种位于数据平面旁路的灵活高性能协处理器。为解决满足三个设计目标的挑战，提出了三项关键技术。开发了可编程的 run-to-completion 加速器以实现灵活推理。为进一步提高性能，我们设计了可扩展的推理引擎，可为 mouse flows 完成低延迟低成本推理，同时为 elephant flows 执行高精度复杂 NN。最后，引入基于 raw-bytes 的 NN，有助于实现无感知性。我们在 FPGA 和 ASIC library 上原型化了 Kaleidoscope。在六个 NN 模型的评估中，Kaleidoscope 实现了 256-352 ns 推理延迟和 100 Gbps 吞吐量，几乎不影响数据平面。现场测试的 NN 在其他 NN-driven IDP 中表现出 SOTA 准确率，凸显了灵活性对提升流量分析准确率的重要影响。