原位工作流集成的协同调度
分布式、并行与集群计算
2022-08-22 v1
摘要
分子动力学(MD)模拟被广泛用于研究大规模分子系统。HPC 系统是研究这些问题的理想平台,然而,即便使用现代超级计算机,要达到检测稀有过程所需的模拟时间尺度仍具挑战性。为克服时间尺度限制,长 MD 轨迹的模拟被替换为在模拟集成中同时执行的多个短程模拟。得益于原位技术,分析通常与这些模拟协同调度,以在运行时高效处理模拟生成的大量数据。执行模拟及其原位分析的集成工作流需要高效的协同调度策略和对计算资源的精细管理,以避免它们相互拖慢。本文提出一种高效方法来协同调度模拟与原位分析,使工作流集成的完工时间最小化。我们提出了一种在资源约束下为工作流集成分配资源的新方法,其使用建模工作流集成执行的理论框架。我们使用基于 WRENCH 仿真框架的精确模拟器在各种工作流集成配置下评估所提方法。结果表明,将数据进行耦合以利用数据局部性的模拟与原位分析的协同调度十分重要,其中低效的调度决策可导致完工时间高达 30 倍的减速。
引用
@article{arxiv.2208.09190,
title = {Co-scheduling Ensembles of In Situ Workflows},
author = {Tu Mai Anh Do and Loïc Pottier and Rafael Ferreira da Silva and Frédéric Suter and Silvina Caíno-Lores and Michela Taufer and Ewa Deelman},
journal= {arXiv preprint arXiv:2208.09190},
year = {2022}
}
备注
12 pages, 5 figures, technical report