天文学中探索性数据分析的最小重计算
天体物理仪器与方法
2018-09-07 v1
摘要
我们提出了一种技术，可在数据分析程序被迭代修改或扩充时（天文学中探索性数据分析的常见情况）自动最小化重计算。一个典型的例子是对苛刻或异常观测的标记与定标，其中目视检查提示需改进处理策略。该技术基于记忆化（memoization）和引用透明任务。我们描述了该技术在 CASA 射电天文数据处理软件包中的实现。我们还提出了一种利用写时复制和块级去重来优化记忆化中间数据产品存储效率的技术，并测量了它们的实际效率。我们发现最小重计算技术在提高数据分析效率的同时，减少了用户出错的可能性并改善了最终结果的可复现性。它还有助于在批调度集群计算机系统上进行探索性数据分析。
引用
@article{arxiv.1809.01945,
title = {Minimal Re-computation for Exploratory Data Analysis in Astronomy},
author = {Bojan Nikolic and Des Small and Mark Kettenis},
journal= {arXiv preprint arXiv:1809.01945},
year = {2018}
}
备注
Accepted for publication in Astronomy and Computing. Software described in the paper is available at: http://www.mrao.cam.ac.uk/~bn204/sw/recipe . This refereed paper is an expanded version of the conference proceedings arxiv:1711.06124