基于Timely Dataflow的分布式数据流在线分析

我们提出ST2，一种在在线场景下分析分布式数据流的端到端解决方案。它由Timely Dataflow（一种低延迟、分布式数据并行数据流计算框架）驱动，并扩展了其前身SnailTrail 1——一个对从数据流执行轨迹导出的程序活动图运行在线关键路径分析的系统。ST2连接到一个运行中的Timely计算，创建程序活动图表示，并在其上运行多种分析。分析包括聚合度量、进度与时间不变式检查，以及图模式匹配。通过命令行界面和实时仪表板，用户能够交互式查看并可视化ST2的分析结果。在ST2的实现中，我们讨论了Differential Dataflow（一种利用差分计算将复杂关系型数据流算子增量化的框架）作为Timely Dataflow的替代方案，但最终决定使用Timely。在性能评估中，我们能够证明ST2在离线与在线场景下均能轻松跟上常见的流式计算，甚至超越SnailTrail 1的性能。我们还在案例研究中从功能角度展示并评估了ST2。利用仪表板对一处有缺陷的源计算进行剖析，我们成功定位了问题的根本原因。我们认为ST2是一个可扩展的系统，为用户调试、监控和优化在线分布式数据流铺平了道路。