Vera C. Rubin 天文台数据管家与流水线执行系统
天体物理仪器与方法
2022-07-01 v1 分布式、并行与集群计算
摘要
Rubin 天文台的数据管家(Data Butler)旨在让编写科学流水线算法的人无需关心数据文件的位置与文件格式。该 Butler 与工作流程图构建器协同工作,使流水线可由算法任务构建而成。这些流水线可在对象存储和多节点集群上大规模执行,也可在笔记本电脑上使用本地文件系统运行。Butler 与流水线系统现已在 Rubin 建设期及早期运行阶段中每日使用。
引用
@article{arxiv.2206.14941,
title = {The Vera C. Rubin Observatory Data Butler and Pipeline Execution System},
author = {Tim Jenness and James F. Bosch and Nate B. Lust and Nathan M. Pease and Michelle Gower and Mikolaj Kowalik and Gregory P. Dubois-Felsmann and Fritz Mueller and Pim Schellart},
journal= {arXiv preprint arXiv:2206.14941},
year = {2022}
}
备注
14 pages, 3 figures, submitted to Proc SPIE 12189, "Software and Cyberinfrastructure for Astronomy VII", Montreal, CA, July 2022