明安图超宽频谱射电日像仪的分布式数据处理流水线
天体物理仪器与方法
2016-12-21 v1
摘要
中国频谱射电日像仪 (CSRH) 是一台建于中国内蒙古的综合孔径射电干涉仪。作为一台太阳专用干涉阵列，CSRH 能够在 400 MHz 至 15 GHz 频率范围内产生具有高时间、空间和频谱分辨率的高质量射电图像。为实现宽带高节奏成像并获得高出两个数量级以上的多频率，CSRH 数据处理系统的实现是一个巨大挑战。迫切需要构建一条流水线来处理 CSRH 每天产生的海量数据。本文中，我们开发了一条基于 OpenCluster 基础设施构建的高性能分布式数据处理流水线 (DDPP)，用于处理 CSRH 观测数据，包括数据存储、归档、预处理、图像重建、反卷积和实时监控。我们全面阐述了该流水线的系统架构及各子系统的实现。DDPP 具有自动化、鲁棒、可扩展和可管理的特性。在多计算机并行和 GPU 混合系统下的处理性能满足了 CSRH 数据处理的要求。本研究为其他射电望远镜特别是综合孔径望远镜提供了有价值的参考，也为当前和/或未来的数据密集型天文观测做出了有价值的贡献。
引用
@article{arxiv.1612.06656,
title = {Distributed Data-Processing Pipeline for Mingantu Ultrawide Spectral Radioheliograph},
author = {F. Wang and Y. Mei and H. Deng and C. Y. Liu and D. H. Liu and S. L. Wei and W. Dai and B. Liang and Y. B. Liu and X. L. Zhang and K. F. Ji},
journal= {arXiv preprint arXiv:1612.06656},
year = {2016}
}
备注
15 pages