面向弹性网络流监测的局部敏感草图
网络与互联网体系结构
2019-05-09 v1 分布式、并行与集群计算
摘要
网络监测在现代云和数据中心网络中至关重要，用于流量工程、网络诊断、网络入侵检测，这些应用需要从流大小分布到重流（heavy hitters）等多种流量统计信息。为应对不断增长的网络速率和海量流量，基于草图（sketch）的近似测量已被广泛研究，以用精度换取内存与计算开销，但不幸的是，其对哈希冲突敏感。此外，部署草图涉及细粒度的性能控制与插桩。本文提出一种局部敏感草图（LSS），以对哈希冲突具有弹性。LSS 通过基于自编码器（autoencoder）的优化模型主动最小化由哈希冲突引起的估计误差，并通过将相似网络流保留到同一桶数组来降低估计方差。为说明该草图的可行性，我们开发了一个解耦监测应用，支持非侵入式草图部署与原生全网分析。测试床表明该框架可适应线速并提供准确的查询结果。真实轨迹驱动的仿真表明，LSS 在宽泛参数范围内保持性能稳定，并大幅优于最先进的草图结构，在每流查询的相对误差上实现了 到 倍的降低，此时桶数量与网络流数量之比从 10% 降至 0.1%。
引用
@article{arxiv.1905.03113,
title = {Locality-Sensitive Sketching for Resilient Network Flow Monitoring},
author = {Yongquan Fu and Dongsheng Li and Siqi Shen and Yiming Zhang and Kai Chen},
journal= {arXiv preprint arXiv:1905.03113},
year = {2019}
}