Hazelcast Jet：99.99 百分位上的低延迟流处理
分布式、并行与集群计算
2021-03-19 v1 数据库
摘要
Jet 是 Hazelcast 在过去五年中构建的开源、高性能、分布式流处理器。Jet 的设计以 99.99 百分位的毫秒级延迟为主要设计目标。最初，Jet 的目的是作为一个执行引擎，在 Hazelcast 的内存数据网格（IMDG）——一组高性能、内存中、分区且复制的数据结构——生成的流上执行复杂业务逻辑。随着时间推移，Jet 演化为一个成熟的、可横向扩展的流处理器，可处理乱序流并提供精确一次（exactly-once）处理保证。Jet 的端到端延迟在毫秒量级，其吞吐量在每个 CPU 核上达数百万事件量级。本文介绍了我们为最大化每 CPU 核性能所做出的主要设计决策，以及经验教训和实证性能评估。
引用
@article{arxiv.2103.10169,
title = {Hazelcast Jet: Low-latency Stream Processing at the 99.99th Percentile},
author = {Can Gencer and Marko Topolnik and Viliam Ďurina and Emin Demirci and Ensar B. Kahveci and Ali Gürbüz Ondřej Lukáš and József Bartók and Grzegorz Gierlach and František Hartman and Ufuk Yılmaz and Mehmet Doğan and Mohamed Mandouh and Marios Fragkoulis and Asterios Katsifodimos},
journal= {arXiv preprint arXiv:2103.10169},
year = {2021}
}