sAirflow：在遗留工作流调度器中采用无服务器架构
分布式、并行与集群计算
2024-06-04 v1
摘要
无服务器云承诺高效扩展、减少运维负担和货币成本。然而，将复杂的遗留应用程序无服务器化可能需要大规模重构，因此存在风险。作为案例研究，我们使用行业标准工作流系统Airflow。为降低迁移风险，我们建议通过依赖变更数据捕获（CDC）和消息队列进行内部通信来限制代码修改。为实现无服务器效率，我们依赖函数即服务（FaaS）。我们的系统sAirflow是首个将控制平面和工作节点适配到无服务器云的方案——它保持了相同的接口和大部分代码。实验表明，sAirflow实现了无服务器的关键优势：扩展和成本降低。我们将sAirflow与托管（SaaS）Airflow MWAA进行比较。在阿里云热系统基准测试中，sAirflow性能相似，同时将货币成本减半。在冷系统的高度并行工作流上，sAirflow在数秒内扩展到125个工作节点，将完工时间缩短2-7倍。
引用
@article{arxiv.2406.01374,
title = {sAirflow: Adopting Serverless in a Legacy Workflow Scheduler},
author = {Filip Mikina and Pawel Zuk and Krzysztof Rzadca},
journal= {arXiv preprint arXiv:2406.01374},
year = {2024}
}