CosmoHub：基于 Hadoop 的天文数据交互式探索与分发
天体物理仪器与方法
2020-03-11 v2 分布式、并行与集群计算
数据分析、统计与概率
摘要
我们介绍 CosmoHub (https://cosmohub.pic.es)，一个基于 Hadoop 的 Web 应用，用于大规模宇宙学数据集的交互式探索与分发。当代宇宙学旨在通过海量天文数据的分析来揭示暗物质与暗能量的本质并绘制宇宙大尺度结构，随着实验技术的数字化与自动化，过去（及未来）几十年间数据量持续增长。CosmoHub 由 Port d'Informació Científica (PIC) 托管并开发，为全球科学家群体提供支持，且无需终端用户了解任何结构化查询语言（SQL）。它正在为若干大型国际合作项目提供数据服务，如 Euclid 空间任务、Dark Energy Survey (DES)、Physics of the Accelerating Universe Survey (PAUS) 以及 Marenostrum Institut de Ciències de l'Espai (MICE) 数值模拟。尽管最初是作为 PostgreSQL 关系数据库 Web 前端开发的，本文描述了 CosmoHub 的当前版本，其构建于 Apache Hive 之上，便于可扩展地读取、写入和管理海量数据集。由于 CosmoHub 的数据集很少被修改，Hive 是更合适的选择。超过 60 TiB 的编目信息和 个天体可通过集成可视化工具进行交互式探索，该工具包含一维直方图和二维热图。在我们当前的实现中，对 量级天体数据集的在线探索可在数十秒的时间尺度内完成。用户还可以下载以标准格式生成的定制数据子集，仅需几分钟。
引用
@article{arxiv.2003.03217,
title = {CosmoHub: Interactive exploration and distribution of astronomical data on Hadoop},
author = {Pau Tallada and Jorge Carretero and Jordi Casals and Carles Acosta-Silva and Santiago Serrano and Marc Caubet and Francisco J. Castander and Eduardo César and Martín Crocce and Manuel Delfino and Martin Eriksen and Pablo Fosalba and Enrique Gaztañaga and Gonzalo Merino and Christian Neissner and Nadia Tonello},
journal= {arXiv preprint arXiv:2003.03217},
year = {2020}
}