DALiuGE：应对天文数据洪流的图执行框架
分布式、并行与集群计算
2017-02-27 v1 仪器与探测器
摘要
数据激活 Liu 图引擎（DALiuGE）是一个执行框架，用于以平方公里阵列第一阶段（SKA1）所需的规模处理大型天文数据集。它包含一个用于表达由数据集和算法组件组成的复杂数据还原流水线的接口，以及一个用于在分布式资源上执行此类流水线的实现运行时。通过将流水线的逻辑视图映射到其物理实现，DALiuGE 分离了多个利益相关者的关注点，使他们能够以连贯的方式共同优化大规模数据处理解决方案。DALiuGE 中的执行是数据激活的，其中每个单独的数据项自主触发对其自身的处理。这种去中心化也使得该执行框架具有高度的可扩展性和灵活性，支持从小到在笔记本电脑上运行不到十个任务的流水线，大到在世界第二快的超级计算机上运行数千万个并发任务的流水线。DALiuGE 已用于生产中，以还原来自 Karl E. Jansky 甚大阵列和明安图超宽光谱射电日像仪的干涉测量数据集；并正在作为平方公里阵列（SKA）望远镜科学数据处理器（SDP）联盟的执行框架原型进行开发。本文介绍了 DALiuGE 的技术概览，并讨论了来自使用 DALiuGE 执行生产流水线的 CHILES 和 MUSER 项目的案例研究。在配套论文中，我们对 DALiuGE 在两台超级计算设施上扩展到极大量任务时的可扩展性进行了深入分析。
引用
@article{arxiv.1702.07617,
title = {DALiuGE: A Graph Execution Framework for Harnessing the Astronomical Data Deluge},
author = {Chen Wu and Rodrigo Tobar and Kevin Vinsen and Andreas Wicenec and Dave Pallot and Baoqiang Lao and Ruonan Wang and Tao An and Mark Boulton and Ian Cooper and Richard Dodson and Markus Dolensky and Ying Mei and Feng Wang},
journal= {arXiv preprint arXiv:1702.07617},
year = {2017}
}
备注
31 pages, 12 figures, currently under review by Astronomy and Computing