面向带内网络遥测的可编程事件检测
网络与互联网体系结构
2019-09-27 v1
摘要
带内网络遥测(In-Band Network Telemetry, INT)是一种新颖的框架,用于以线速从数据平面收集遥测项与交换机内部状态信息。在可编程数据平面与 P4 编程语言的支持下,交换机解析遥测指令头,并利用自定义元数据决定附加哪些遥测项。在网络边缘,遥测信息被移除,原始数据包被转发,而遥测报告被发送至分布式流处理器,由网络监控平台进一步处理。为避免流处理器负载过重,不应为每个数据包都发送遥测项,而应在某些事件被触发时才发送。本文中,我们在 P4 中开发了一种可编程 INT 事件检测机制,允许从控制平面按流定制向监控系统报告哪些事件。在流处理器处,我们使用内核旁路技术 AF_XDP 实现了一个快速的 INT 报告收集器,其解析遥测报告并将其流式传输至分布式 Kafka 集群,该集群可应用机器学习、可视化及进一步监控任务。在我们的评估中,我们使用来自不同数据中心负载的真实轨迹,表明我们的方法具有高度可扩展性,并通过交换机数据平面内有效的事件预过滤显著降低了网络开销与流处理器负载。虽然 INT 报告收集器每核可处理约 3 Mpps 遥测报告,但使用事件预过滤将容量提升了 10-15 倍。
引用
@article{arxiv.1909.12101,
title = {Programmable Event Detection for In-Band Network Telemetry},
author = {Jonathan Vestin and Andreas Kassler and Deval Bhamare and Karl-Johan Grinnemo and Jan-Olof Andersson and Gergely Pongracz},
journal= {arXiv preprint arXiv:1909.12101},
year = {2019}
}