KubeAdaptor：一种面向 Kubernetes 上工作流容器化的对接框架
分布式、并行与集群计算
2023-07-07 v1
摘要
随着 Kubernetes 成为云原生时代的基础设施，工作流系统与 Kubernetes 的集成正变得越来越流行。据我们所知，工作流系统采用优化工作流任务执行顺序的调度算法以提升性能和执行效率。然而，由于其固有的调度机制，在将工作流系统迁移到 Kubernetes 平台时，Kubernetes 并不会按照工作流优化的任务执行顺序进行容器化调度。这种任务调度顺序的不一致严重降低了工作流执行效率，并为工作流系统在 Kubernetes 上的容器化过程带来了诸多挑战。本文提出一种云原生工作流引擎，亦称 KubeAdaptor，这是一个能够在 Kubernetes 上实现工作流容器化、将工作流系统与 Kubernetes 集成并确保任务调度顺序一致性的对接框架。我们介绍了 KubeAdaptor 的设计与架构，详述了 KubeAdaptor 内的功能实现与事件触发机制。关于四种真实工作流的实验结果表明，KubeAdaptor 确保了工作流系统与 Kubernetes 在任务调度顺序上的一致性。与基线 Argo 工作流引擎相比，KubeAdaptor 在任务 pod 平均执行时间、平均工作流生命周期和资源使用率方面均取得了更优性能。
引用
@article{arxiv.2207.01222,
title = {KubeAdaptor: A Docking Framework for Workflow Containerization on Kubernetes},
author = {Chenggang Shan and Guan Wang and Yuanqing Xia and Yufeng Zhan and Jinhui Zhang},
journal= {arXiv preprint arXiv:2207.01222},
year = {2023}
}
备注
Workflow System, Containerization, Task Scheduling, Event Trigger, Kubernetes