Railgun：面向任务关键系统的流式窗口
分布式、并行与集群计算
2020-11-11 v3 数据库
摘要
某些任务关键系统（如欺诈检测）需要在高吞吐量与低延迟的应用上，对长时间窗口提供准确、实时的指标。由于这些应用需“永久”运行并应对巨大且突发的负载，它们进一步要求在分布式环境中运行。不足为奇的是，我们未知有任何分布式流系统能提供上述所有特性。相反，现有系统做了大幅简化，例如将滑动窗口实现为一组固定部分重叠的窗口，从而损害指标准确性（违反金融监管规则）或延迟（违背服务协议）。本文中，我们提出 Railgun，一种容错、弹性且分布式的流系统，支持面向高负载与毫秒级延迟场景的实时滑动窗口。我们使用真实数据对 Railgun 的初始原型进行基准测试，显示出比 Flink 显著更低的延迟，以及独立于窗口大小的低内存占用。
引用
@article{arxiv.2009.00361,
title = {Railgun: streaming windows for mission critical systems},
author = {João Oliveirinha and Ana Sofia Gomes and Pedro Cardoso and Pedro Bizarro},
journal= {arXiv preprint arXiv:2009.00361},
year = {2020}
}
备注
Previously submitted to CIDR 2021