Kubernetes上面向工作流容器化的自适应资源分配
分布式、并行与集群计算
2024-01-04 v1
摘要
在云原生时代，基于Kubernetes的工作流引擎借助Kubernetes的固有能力实现工作流容器化执行。然而，当遇到连续的工作流请求和意外的资源请求峰值時，该引擎仅能依据当前工作流负载信息进行资源分配，缺乏资源分配的敏捷性与可预测性，导致资源过度配置与配置不足。该机制严重阻碍工作流执行效率并造成高资源浪费。为克服这些缺陷，我们提出一种名为ARAS的自适应资源分配方案，用于基于Kubernetes的工作流引擎。考虑到当前任务pod生命周期内潜在的未来工作流任务请求，ARAS采用资源伸缩策略以应对高并发工作流场景。ARAS提供资源发现、资源评估与分配功能，并作为我们定制工作流引擎(KubeAdaptor)的关键组件。通过将ARAS集成到KubeAdaptor中以进行工作流容器化执行，我们展示了KubeAdaptor的实用能力及ARAS的优势。与基线算法相比，在三种不同工作流到达模式下的实验评估表明，ARAS在所有工作流的平均总时长上节省9.8%至40.92%的时间，在单个工作流的平均时长上节省26.4%至79.86%的时间，并将CPU与内存资源使用率提升1%至16%。
引用
@article{arxiv.2301.08409,
title = {Adaptive Resource Allocation for Workflow Containerization on Kubernetes},
author = {Chenggang Shan and Chuge Wu and Yuanqing Xia and Zehua Guo and Danyang Liu and Jinhui Zhang},
journal= {arXiv preprint arXiv:2301.08409},
year = {2024}
}