非洲人 IV：Stimela2 框架——从本地到云端的可扩展且可重复的工作流程
天体物理仪器与方法
2024-12-18 v2
摘要
Stimela2 是一个新一代用于开发数据降序工作流程的框架。它为无线电天文学数据设计，但可以适用于其他数据处理应用程序。Stimela2 旨在开发便捷性、人类可读性与实现稳健、可扩展和可重复工作流程之间的折中。它通过线性、简洁直观的 YAML 格式“食谱”来表示工作流程。原子数据降序任务（二进制可执行文件、Python 函数和代码、CASA 任务）由 YAML 格式的“cab 定义”描述，详细说明了每个任务的“模式”（输入和输出）。Stimela2 提供了丰富的语法用于将任务链式连接，鼓励高度的模块化：食谱可以嵌套到其他食谱中，配置与食谱逻辑被清晰分离。任务可以本地执行或使用诸如 Apptainer 等容器技术在隔离环境中执行。容器镜像是开源的，并通过名为 cult-cargo 的伴随软件包进行维护。这使得开发与人类无关且完全可重复的工作流程成为可能。Stimela2 通过与 Slurm 调度器和 Kubernetes API 接口集成，促进了可扩展的分布式工作流程的部署。后者使工作流程能够轻松部署到云端。本系列以前的论文将 Stimela2 作为在 AWS 云上运行工作流程的底层技术。本文概述了 Stimela2 的设计、架构及其在无线电天文学情境中的应用。
引用
@article{arxiv.2412.10080,
title = {Africanus IV. The Stimela2 framework: scalable and reproducible workflows, from local to cloud compute},
author = {Oleg M. Smirnov and Sphesihle Makhathini and Jonathan S. Kenyon and Hertzog L. Bester and Simon J. Perkins and Athanaseus J. T. Ramaila and Benjamin V. Hugo},
journal= {arXiv preprint arXiv:2412.10080},
year = {2024}
}
备注
26 pages, submitted to Astronomy & Computing