高节奏高密度源表与最新天空模型在数据库内的快速交叉匹配
天体物理仪器与方法
2018-03-20 v1 数据库
摘要
即将建成的高节奏宽场光学望远镜每分钟将成像数十万个源。除了在近实时数据流中搜寻暂现与变源事件外,累积的数据档案亦是开展互补科学发现的丰富实验室。本工作的目标是优化面向列的数据库技术,以构建可供天文界访问的大规模巡天全源与光变曲线数据库。我们采用 LOFAR 的 Transients Pipeline 作为基线,并对其进行修改以处理具有更高源密度的光学图像。该流水线将新源表加入档案数据库,同时与已知编目源进行交叉匹配,以构建完整的光变曲线档案。我们研究了几种对最大数据表进行索引与分区的技术,从而在交叉匹配算法中实现更快的位置源查找。我们在长期流水线运行中监测了所有查询运行时间,期间处理了 IPHAS 数据的一个子集,其图像源密度峰值超过每视场 (即 deg)。我们的分析表明,赤纬宽度为一度的水平表分区可控制查询运行时间。采用按源赤纬紧密排序的分区索引策略可带来进一步改善。大多数查询在亚线性时间内运行,少数(<20%)因依赖于输入源表与结果集大小而以线性时间运行。我们观察到,对于此逻辑数据库分区方案,流水线处理 IPHAS 数据所达到的极限节奏为 25 秒。
引用
@article{arxiv.1803.02601,
title = {Fast in-database cross-matching of high-cadence, high-density source lists with an up-to-date sky model},
author = {Bart Scheers and Steven Bloemen and Hannes Mühleisen and Pim Schellart and Arjen van Elteren and Martin Kersten and Paul J. Groot},
journal= {arXiv preprint arXiv:1803.02601},
year = {2018}
}
备注
16 pages, 5 figures; Accepted for publication in Astronomy & Computing