为LSST管线执行增加工作流管理灵活性
天体物理仪器与方法
2022-11-30 v1 分布式、并行与集群计算
摘要
数据处理管线需要在从小规模运行到产生数百万数据产品的大型生产数据发布运行的各种规模上执行。作为鲁宾天文台管线执行系统的一部分，BPS是提供与不同工作流管理系统（WMS）（如HTCondor和PanDA）接口的抽象层。在提交过程中，管线执行系统与Data Butler交互，从算法任务生成面向科学的执行图。BPS将此执行图转换为工作流图，然后使用WMS特定的插件来提交和管理工作流。本文将讨论该接口的架构设计，并简要报告最近Data Preview 0.2发布的生产情况以及管线开发者如何使用该系统。
引用
@article{arxiv.2211.15795,
title = {Adding Workflow Management Flexibility to LSST Pipelines Execution},
author = {Michelle Gower and Mikolaj Kowalik and Nate B. Lust and James F. Bosch and Tim Jenness},
journal= {arXiv preprint arXiv:2211.15795},
year = {2022}
}
备注
4 pages, submitted to Astronomical Data Analysis Software and Systems XXXII, October 2022