使用 Flowyager 探索全网流数据
网络与互联网体系结构
2020-10-28 v2
摘要
许多网络操作,从攻击调查与缓解到流量管理,都需要在数秒内回答全网流查询。尽管流记录在各路由器处被收集,利用可用的流量捕获工具,查询跨站点、随时间来自数百台路由器的所得数据集,由于巨大的流量体量与流记录的分布式特性,仍是一项重大挑战。本文中,我们研究如何改善对先验未知全网查询的响应时间。我们提出 Flowyager,一个构建于现有流量捕获工具之上的系统。Flowyager 生成并分析树形数据结构,我们称之为 Flowtree,其是捕获工具可得原始流数据的简洁摘要。Flowtree 是自适应调整的数据结构,与原始流记录相比大幅降低空间与传输需求达 75% 至 95%。Flowyager 管理 Flowtree 的存储与传输,支持 Flowtree 算子,并提供结构化查询语言以回答跨站点与时间段的流查询。通过在一个大型互联网交换点与一个一级互联网服务提供商部署 Flowyager 原型,我们展示了其在具有数百个路由器接口网络中的能力。我们的结果显示,相较于替代性数据分析平台,查询响应时间可降低一个数量级。因此,Flowyager 实现了交互式全网查询,并提供前所未有的下钻能力,例如识别 DDoS 元凶、精确定位所涉站点并确定攻击时长。
引用
@article{arxiv.2010.13120,
title = {Exploring Network-Wide Flow Data with Flowyager},
author = {Said Jawad Saidi and Aniss Maghsoudlou and Damien Foucard and Georgios Smaragdakis and Ingmar Poese and Anja Feldmann},
journal= {arXiv preprint arXiv:2010.13120},
year = {2020}
}
备注
accepted at IEEE TNSM Journal DOI added