为最优图执行划分 SKA 数据流
分布式、并行与集群计算
2018-05-22 v1
摘要
优化数据密集型工作流执行对许多现代科学项目至关重要，例如平方公里阵列（SKA），它将是世界上最大的射电望远镜，在未来几十年内每秒收集数 TB 数据。SKA 科学数据处理器的核心是用于调度数万个算法组件以摄取和转换数百万并行数据块，从而在功耗预算内解决一系列大规模反问题的图执行引擎。为应对这一挑战，我们开发了数据激活 Liu 图引擎（DALiuGE）来管理多个 SKA 探路者项目的数据处理流水线。在本文中，我们讨论 DALiuGE 图调度子系统。通过扩展先前关于图调度与划分的研究，我们奠定了基础，据此可开发多项式时间优化方法，在满足各算法所施加资源约束的同时，最小化工作流执行时间与资源占用。我们展示了从三个射电天文数据流水线获得的初步结果。
引用
@article{arxiv.1805.07568,
title = {Partitioning SKA Dataflows for Optimal Graph Execution},
author = {Chen Wu and Andreas Wicenec and Rodrigo Tobar},
journal= {arXiv preprint arXiv:1805.07568},
year = {2018}
}
备注
Accepted in HPDC ScienceCloud 2018 Workshop