三种不同计算环境下的 SKA 规模数据成像
天体物理仪器与方法
2015-11-03 v1
摘要
我们展示了针对 CHILES 项目（平方公里阵列时代的一个超深 HI 探路者）中成像管线的计算平台选项的调查结果。CHILES 将当前计算基础设施推至极限，而理解如何从该项目中产出图像正在阐明 SKA 的科学数据处理需求。我们测试了三个平台：一个中等规模的集群、一个大规模高性能计算 (HPC) 系统以及亚马逊网络服务 (AWS) 云计算平台。我们使用成熟的数据归约和性能测量工具，研究这些平台对于真实射电天文数据归约中复杂访问模式的行为。所有这些平台各有优缺点，系统工具使我们能够以定量方式识别和评估它们。借助这些测试的洞见，我们能够在 HPC 平台和云计算平台上完成成像管线处理，这为应对射电天文领域 SKA 时代的大数据挑战铺平了道路。我们讨论了所有类似项目必须考虑在性能和成本方面的启示，以对射电天文成像工作流的规划提出建议。
引用
@article{arxiv.1511.00401,
title = {Imaging SKA-Scale data in three different computing environments},
author = {Richard Dodson and Kevin Vinsen and Chen Wu and Attila Popping and Martin Meyer and Andreas Wicenec and Peter Quinn and Jacqueline van Gorkom and Emmanuel Momjian},
journal= {arXiv preprint arXiv:1511.00401},
year = {2015}
}
备注
Accepted Astronomy and Computing