Railgun：在 MAD 需求下管理大型流窗口
分布式、并行与集群计算
2021-06-25 v1
摘要
某些任务关键型系统，例如欺诈检测，需要在高吞吐量与低延迟的应用上，对长时间滑动窗口提供准确、实时的指标。由于这些应用需“永久”运行并应对巨大且突发的负载，它们进一步要求在分布式环境中运行。我们未见任何流系统能提供上述所有特性。相反，现有系统做了大幅简化，例如将滑动窗口实现为一组固定的重叠窗口，从而损害指标准确性（违反监管规则）或延迟（违背服务协议）。本文中，我们提出 Railgun，一个容错、弹性且分布式的流系统，支持面向高负载与毫秒级延迟场景的实时滑动窗口。我们使用真实数据对 Railgun 的初始原型进行基准测试，显示出比 Flink 显著更低的延迟，以及独立于窗口大小的低内存占用。此外，我们表明 Railgun 近乎线性扩展，即使在每秒一百万事件的负载下，也能在高百分位保持毫秒级延迟（99.9% 分位 <250ms）。
引用
@article{arxiv.2106.12626,
title = {Railgun: managing large streaming windows under MAD requirements},
author = {Ana Sofia Gomes and João Oliveirinha and Pedro Cardoso and Pedro Bizarro},
journal= {arXiv preprint arXiv:2106.12626},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:2009.00361