将 PanDA 工作负载管理系统与 Vera C. Rubin 天文台集成

Edward Karavakis; Wen Guan; Zhaoyu Yang; Tadashi Maeno; Torre Wenaus; Jennifer Adelman-McCarthy; Fernando Barreiro Megino; Kaushik De; Richard Dubois; Michelle Gower; Tim Jenness; Alexei Klimentov; Tatiana Korchuganova; Mikolaj Kowalik; Fa-Hui Lin; Paul Nilsson; Sergey Padolski; Wei Yang; Shuwei Ye

将 PanDA 工作负载管理系统与 Vera C. Rubin 天文台集成

天体物理仪器与方法 2023-12-11 v1 分布式、并行与集群计算

作者: Edward Karavakis , Wen Guan , Zhaoyu Yang , Tadashi Maeno , Torre Wenaus , Jennifer Adelman-McCarthy , Fernando Barreiro Megino , Kaushik De , Richard Dubois , Michelle Gower , Tim Jenness , Alexei Klimentov , Tatiana Korchuganova , Mikolaj Kowalik , Fa-Hui Lin , Paul Nilsson , Sergey Padolski , Wei Yang , Shuwei Ye

在 arXiv 上查看 ↗ PDF ↗

摘要

Vera C. Rubin 天文台将为深邃动态宇宙的研究提供前所未有的天文数据集。其时空遗产巡天 (LSST) 将每三到四天对整个南天球成像一次，并在实验运行期间产生数十 PB 的原始图像数据及相关校准数据。每晚必须存储超过 20 TB 的数据，并且在十年内将进行年度活动，重新处理自巡天开始以来的整个数据集。Rubin 天文台数据管理团队评估了生产与分布式分析 (PanDA) 系统，并选择其来满足天文台的需求，原因在于其多年来展现的可扩展性和灵活性、对有向无环图 (DAG) 的支持、对多站点处理的支持，以及通过智能数据交付服务 (iDDS) 实现的高度可扩展的复杂工作流。PanDA 也正在被评估用于即时处理，即必须在图像捕获后 60 秒内处理数据。本文将简要描述 Rubin 数据管理系统及其数据设施 (DFs)。最后，将深入描述为将 PanDA 系统与 Rubin 天文台集成所做的工作，以便能够使用 PanDA 运行 Rubin 科学管线。

引用

@article{arxiv.2312.04921,
  title  = {Integrating the PanDA Workload Management System with the Vera C. Rubin Observatory},
  author = {Edward Karavakis and Wen Guan and Zhaoyu Yang and Tadashi Maeno and Torre Wenaus and Jennifer Adelman-McCarthy and Fernando Barreiro Megino and Kaushik De and Richard Dubois and Michelle Gower and Tim Jenness and Alexei Klimentov and Tatiana Korchuganova and Mikolaj Kowalik and Fa-Hui Lin and Paul Nilsson and Sergey Padolski and Wei Yang and Shuwei Ye},
  journal= {arXiv preprint arXiv:2312.04921},
  year   = {2023}
}

备注

8 pages, 3 figures, 26th International Conference on Computing in High Energy & Nuclear Physics

将 PanDA 工作负载管理系统与 Vera C. Rubin 天文台集成

摘要

引用

备注

相关论文