LOFAR与HDF5:迈向新的射电数据标准
天体物理仪器与方法
2010-12-13 v1 宇宙学与河外天体物理
摘要
几十年来,科学数据量经历了持续且指数级的增长。因此,传统天文数据格式正承受着其最初设计时未曾预料到的负担。鉴于未来天文项目将延续这一趋势,ASTRON和LOFAR项目正在探索使用分层数据格式第5版(HDF5)来封装LOFAR射电数据。LOFAR的大部分标准数据产品将采用HDF5格式存储。此外,针对传统射电数据结构(如可见度数据和谱图像立方体)的HDF5模拟格式也正在开发中。HDF5库允许构建分布式、完全无界的文件。HDF5格式的特性进一步提供了定制设计数据封装格式的能力,可以指定层次结构、内容和属性。LOFAR项目设计了多种数据格式,用于容纳和存储所有LOFAR数据产品,本文介绍了其主要样式和种类。通过适当的开发和支持,希望这些数据格式能被其他天文项目所采纳,因为它们同样需要应对未来海量数据的挑战。
引用
@article{arxiv.1012.2266,
title = {LOFAR and HDF5: Toward a New Radio Data Standard},
author = {Kenneth Anderson and Anastasia Alexov and Lars Baehren and Jean-Mathias Griessmeier and Michael Wise and Adriaan Renting},
journal= {arXiv preprint arXiv:1012.2266},
year = {2010}
}
备注
6 pages, 2 figures, proceedings from the ISKAF 2010 conference