DALiuGE执行框架适用性的实证评估
天体物理仪器与方法
2021-12-28 v1
摘要
平方公里阵列（SKA）项目是一个旨在建造全球最大射电望远镜的国际合作项目。数据处理是建造SKA望远镜的最大挑战之一。作为分布式执行框架，数据激活刘图引擎（DALiuGE）被提议作为应对SKA海量数据的候选方案之一。DALiuGE具有许多独特特性，但其处理科学数据的实际能力仍不明确。在本文中，我们针对将SAGECal移植到DALiuGE的执行性能、开发者工作量和实现难度，对DALiuGE的可用性进行了客观评估。评估结果表明，DALiuGE能够实现天文软件的快速集成，但不同并行粒度在效率上存在显著差异。即便对程序进行了深度优化，当前DALiuGE在执行性能上与传统MPI之间仍存在差距。因此，我们得出初步结论：DALiuGE在海量数据批处理方面不具备性能优势，而可能更适用于计算任务更为定制化的应用场景，例如SKA科学区域中心。
引用
@article{arxiv.2112.13088,
title = {An Empirical Evaluation On the Applicability of the DALiuGE Execution Framework},
author = {Ying Mei and Shoulin Wei and Feng Wang and Chen Wu and Rodrigo Tobar and Mohsim Shaikh and Hui Deng and Wei Dai and Bo Liang and Andreas Wicenec},
journal= {arXiv preprint arXiv:2112.13088},
year = {2021}
}
备注
13 pages, 7 figures Accepted by Astronomy And Computing