Triggerflow:基于触发器的无服务器工作流编排
分布式、并行与集群计算
2021-06-23 v2
摘要
随着越来越多的应用借助无服务器计算迁移到云端,越来越需要在数据中心中支持这些应用的原生生命周期执行。但现有的云编排系统要么专注于短时运行的工作流(如 IBM Composer 或 Amazon Step Functions Express Workflows),要么在为大规模并行作业同步时带来可观的开销(Azure Durable Functions、Amazon Step Functions)。它们都不是支持可扩展拦截和优化自定义工作流的开放系统。我们提出 Triggerflow:一种用于无服务器工作流的可扩展基于触发器的编排架构。我们证明 Triggerflow 是一个新颖的无服务器构建模块,能够构建不同的响应式编排器(状态机、有向无环图、工作流即代码、联邦学习编排器)。我们还验证它能够支持高容量事件处理负载,按需自动扩缩并在不使用时缩容至零,并在编排长时间运行的科学工作流时透明地保证容错与高效的资源利用。
引用
@article{arxiv.2106.00583,
title = {Triggerflow: Trigger-based Orchestration of Serverless Workflows},
author = {Aitor Arjona and Pedro García-López and Josep Sampé and Aleksander Slominski and Lionel Villard},
journal= {arXiv preprint arXiv:2106.00583},
year = {2021}
}
备注
17 pages, 17 figures, preprint submitted to Future Generation Computer Systems. arXiv admin note: substantial text overlap with arXiv:2006.08654