Jup2Kub：将Jupyter Notebook流水线翻译为容错分布式Kubernetes部署的算法与系统
分布式、并行与集群计算
2023-11-22 v1 软件工程
摘要
科学工作流为科学数据分析提供便利计算、数据操作以及有时可视化的步骤。它们对实验的复现与验证至关重要，通常涉及科学模拟与数据分析中的计算步骤。这些工作流常由领域科学家使用Jupyter notebook开发，其便捷却面临局限：难以随更大数据集扩展，缺乏故障容错，且严重依赖底层工具与包的稳定性。为解决这些问题，开发了Jup2Kup。该软件系统将Jupyter notebook中的工作流翻译为分布式、高性能的Kubernetes环境，增强了容错能力。它还管理软件依赖以维持工具和包变动时的运行稳定性。
引用
@article{arxiv.2311.12308,
title = {Jup2Kub: algorithms and a system to translate a Jupyter Notebook pipeline to a fault tolerant distributed Kubernetes deployment},
author = {Jinli Duan and Shasha Dennis},
journal= {arXiv preprint arXiv:2311.12308},
year = {2023}
}
备注
for associated software, see https://github.com/shirou10086/Scientificworkflow