Dirigo：面向无服务器实时数据处理的自扩展有状态Actor
分布式、并行与集群计算
2023-08-08 v1 数据库
摘要
我们提出 Dirigo，一种构建于虚拟 Actor 之上的分布式流处理服务。Dirigo 在用户意图（SLO）驱动下，同时实现了高水平的资源效率与性能隔离。为提升资源效率，Dirigo 采用无服务器架构，使流处理算子能够在应用内部及应用之间对计算资源进行时间片共享。同时，Dirigo 通过继承无服务器架构中函数自动扩缩容的特性来改善性能隔离。具体而言，Dirigo 提出（i）双模式 Actor，一种在自动扩缩容过程中为流处理算子动态提供有序性保证的 Actor 抽象；（ii）一种数据面调度机制及其 API，支持在消息粒度上进行调度与扩缩容。
引用
@article{arxiv.2308.03615,
title = {Dirigo: Self-scaling Stateful Actors For Serverless Real-time Data Processing},
author = {Le Xu and Divyanshu Saxena and Neeraja J. Yadwadkar and Aditya Akella and Indranil Gupta},
journal= {arXiv preprint arXiv:2308.03615},
year = {2023}
}