面向明安图光谱射电日像仪海量数据管理系统的高性能负数据库
天体物理仪器与方法
2017-06-28 v1
摘要
作为一种专用的合成孔径射电干涉仪，明安图光谱射电日像仪（MUSER，最初称为中国光谱射电日像仪CSRH）已进入常规观测阶段。每天超过2300万条数据记录需要被有效管理，以为科学数据缩减提供高性能数据查询与检索。鉴于MUSER产生的这些海量数据，本文提出一种称为负数据库（ND）的新型数据管理技术，并用于实现MUSER的数据管理系统。该技术基于键值数据库，充分利用观测数据的补集来推导所需信息。实验结果表明，与关系数据库管理系统（RDBMS）相比，所提出的ND能显著减少存储量。即使考虑推导缺失记录所需的时间，其整体性能（包括ND数据的查询与推导）也与RDBMS相当。ND技术有效解决了MUSER的海量数据存储问题，并为下一代望远镜所需的海量数据管理提供了宝贵参考。
引用
@article{arxiv.1705.06067,
title = {High Performance Negative Database for Massive Data Management System of The Mingantu Spectral Radioheliograph},
author = {Congming Shi and Feng Wang and Hui Deng and Yingbo Liu and Cuiyin Liu and Shoulin Wei},
journal= {arXiv preprint arXiv:1705.06067},
year = {2017}
}