云与外部资源间的Kubernetes“桥接”算子
分布式、并行与集群计算
2022-07-07 v1
摘要
许多科学工作流需要专用的计算资源，包括具有优化软件的HPC集群、量子资源以及专用的硬件集群系统（例如Ray）。与此同时，当今许多科学工作流构建于Kubernetes之上，利用其日益增长的工作流与支持工具支持。为满足在云和专用计算资源上支持工作流的增长需求，我们提出了Bridge Operator，这是一种用于Kubernetes中容器编排的软件扩展，它促进在具有自身集群资源管理器（SLURM、LSF、量子服务和Ray）的外部系统上提交和监控长时间运行进程。Bridge Operator由一个自定义的Kubernetes控制器组成，该控制器采用Kubernetes自定义资源定义来管理应用。我们给出了管理云容器编排与外部资源工作负载管理器接口的控制器逻辑、用于向外部资源提交HTTP/HTTPS请求的资源配置定义，以及与外部资源管理器通信以提交和管理作业执行的控制器pod。该实现允许我们在Kubernetes pod中镜像外部资源，从而使算子能将这些pod用作代理来控制外部系统。该实现对资源管理器的选择不可知，但假定系统为其控制/管理暴露HTTP/HTTPS API。Bridge Operator自动化了作为混合复杂工作流一部分在黑盒外部资源上运行作业的人工算子角色。
引用
@article{arxiv.2207.02531,
title = {A Kubernetes 'Bridge' operator between cloud and external resources},
author = {Boris Lublinsky and Elise Jennings and Viktória Spišaková},
journal= {arXiv preprint arXiv:2207.02531},
year = {2022}
}
备注
13 pages, 2 figures