面向 Gaia 变源分析的时间序列数据挖掘
天体物理仪器与方法
2014-11-24 v1 数据库
分布式、并行与集群计算
摘要
Gaia 是欧洲空间局 (ESA) 的一项旗舰任务，于 2013 年 12 月成功发射，并于 2014 年 7 月开始运行。在 Gaia 数据处理与分析联盟中，协调单元 7 (CU7) 负责对超过十亿个天体源及其近四十亿条相关时间序列（光度、分光光度和光谱）进行变异性分析，这些数据编码了任务 5 年期间超过八千亿次观测的信息，构成了一个 PB 级的分析难题。在本文中，我们简要描述了为应对时间序列变异性分析挑战而开发的解决方案：从面向分布式数据科学协作的架构，到具体的架构选择和所用组件。我们的方法基于开源组件，以分布式分区数据库为核心，在受限的时间窗口内增量式地处理数据摄入、分布式处理、分析、结果生成和导出。
引用
@article{arxiv.1411.5943,
title = {Time series data mining for the Gaia variability analysis},
author = {Krzysztof Nienartowicz and Diego Ordóñez Blanco and Leanne Guy and Berry Holl and Isabelle Lecoeur-Taïbi and Nami Mowlavi and Lorenzo Rimoldini and Idoia Ruiz and Maria Süveges and Laurent Eyer},
journal= {arXiv preprint arXiv:1411.5943},
year = {2014}
}
备注
4 pages, 3 figures. appears in the Proc. of the 2014 conference on Big Data from Space (BiDS14), European Commission, Joint Research Centre, P. Soille, P. G. Marchetti (eds)