跨集群与云分发射电天文处理的自动化可扩展框架
天体物理仪器与方法
2018-04-11 v2
摘要
低频阵列（LOFAR）射电望远镜是一台用于低频研究宇宙的国际孔径综合射电望远镜。LOFAR 望远镜的目标之一是开展深度宽视场巡天。此处我们将讨论用于处理 LOFAR 两米天空巡天（LoTSS）的框架。该巡天将在五年内产生近 50 PB 数据。此类数据速率要求在能高速访问归档数据的地点进行处理。为完成 LoTSS 项目，处理软件需具备可移植性并迁移至与数据归档有高带宽连接的集群。本工作提出一个使 LOFAR 软件可移植、并用于扩展 LOFAR 数据归约的框架。先前工作已在隔离节点集群上成功预处理 LOFAR 数据。本框架在此基础上构建，目前已投入运行。其设计具备可移植、可扩展、自动化与通用性。本文描述其设计与高层运行，以及处理 LoTSS 数据的初步结果。
引用
@article{arxiv.1712.00312,
title = {An Automated Scalable Framework for Distributing Radio Astronomy Processing Across Clusters and Clouds},
author = {A. P. Mechev and J. B. R. Oonk and A. Danezi and T. W. Shimwell and C. Schrijvers and H. T. Intema and A. Plaat and H. J. A. Röttgering},
journal= {arXiv preprint arXiv:1712.00312},
year = {2018}
}
备注
Accepted Proceedings for International Symposium on Grids & Clouds 2017. 16 Pages, 7 Figures