DynamiQ：面向网络流分析系统动态性的规划
网络与互联网体系结构
2021-06-11 v1
摘要
可编程数据平面目标的出现推动了网络流分析系统的一种新混合设计，该系统将这些目标的高速数据包处理速度与现代流处理器上丰富的计算资源相结合。然而，这些系统需要细致的查询规划；即指定执行给定查询集的细微细节，以最佳利用数据平面目标所提供的有限资源与可编程性。我们使用这样一个现有系统 Sonata 以及真实数据包轨迹，来理解执行固定查询工作负载如何受到定义目标输入工作负载的流量未知动态的影响。我们观察到，Sonata 所采用的静态查询规划甚至无法处理输入工作负载的微小变化，浪费数据平面资源直至查询执行主要局限于用户空间。本文提出 DynamiQ 这一新型网络流分析平台的设计与实现，其采用动态查询规划来应对真实世界输入工作负载的动态性。具体而言，我们开发了一套实用算法用于 (i) 计算有效的初始查询计划（以启动查询执行）以及 (ii) 在运行时高效更新此类初始查询计划的部分内容（以适应输入工作负载的变化）。以真实世界数据包轨迹作为输入工作负载，我们表明与 Sonata 相比，DynamiQ 将流处理器的工作负载降低了两个数量级。
引用
@article{arxiv.2106.05420,
title = {DynamiQ: Planning for Dynamics in Network Streaming Analytics Systems},
author = {Rohan Bhatia and Arpit Gupta and Rob Harrison and Daniel Lokshtanov and Walter Willinger},
journal= {arXiv preprint arXiv:2106.05420},
year = {2021}
}