基于 Pegasus 与 Montage 的大规模天文图像处理
天体物理仪器与方法
2021-11-24 v1
摘要
大规模图像处理是创建新数据集、将其与现有数据集整合以及执行分析与质量保证研究的有力工具。此类涉及多步数据访问与处理的工作流管理具有显著优势。一般而言，工作流管理器能够通过定位数据与资源、从故障中恢复以及监控性能来实现工作流的自动化。在本重点演示中，我们展示了 Pegasus 工作流管理器 Python API 如何管理图像处理，以利用 Montage 图像拼接引擎创建马赛克图。自 2001 年以来，Pegasus 一直由 USC/ISI 开发和维护。事实上，Montage 是最早用于设计 Pegasus 并优化其性能的应用之一。此后，Pegasus 已在许多科学领域得到应用。LIGO 利用它做出了黑洞的发现。Vera C. Rubin 天文台使用它来比较在云平台上处理图像的成本与性能。尽管这些是大规模项目的例子，但本地机器集群上的小型团队研究同样可以从 Pegasus 中受益。
引用
@article{arxiv.2111.11624,
title = {Astronomical Image Processing at Scale With Pegasus and Montage},
author = {G. Bruce Berriman and John C. Good and Ewa Deelman and Ryan Tanaka and Karan Vahi},
journal= {arXiv preprint arXiv:2111.11624},
year = {2021}
}
备注
4 pages, 1 figure, Proceedings of ADASS XXXI