SIM-SITU：一种用于原位工作流忠实仿真的框架
分布式、并行与集群计算
2022-01-03 v1
摘要
分子动力学、气候建模、生物学或天体物理等多个科学领域数值模拟所生成的数据量，促使应用工作流发生了根本性的重新设计。存储子系统的吞吐量与容量并未像极致规模超级计算机中的计算能力那样快速演进。结果，经典的模拟输出后处理分析变得极其低效。原位工作流随之作为一种解决方案出现，其中模拟与数据分析通过共享计算资源交织进行，从而降低延迟。确定最佳分配（即为原位工作流的每个组件分配多少资源）与映射（即在何处以及以何种频率运行数据分析组件）是一项复杂任务，其性能评估对原位工作流的高效执行至关重要。然而，此类不同分配与映射策略的性能评估通常要么依赖于直接在目标执行环境上运行它们（这可能迅速变得极其耗费时间与资源），要么求助于对原位工作流各组件的简化模型仿真（这可能缺乏真实性）。两种情况下性能评估的有效性都受限。为解决该问题，我们引入 SIM-SITU，一种用于原位工作流忠实仿真的框架。该框架构建于 SimGrid 工具包之上，并受益于这一通用仿真工具的若干重要特性。我们设计 SIM-SITU 以反映原位工作流的典型结构，并且凭借其模块化设计，SIM-SITU 具备必要的灵活性，以轻松且忠实地评估原位工作流各种分配与映射策略的行为与性能。我们在一个分子动力学用例上展示了 SIM-SITU 的仿真能力。我们研究了不同分配与映射策略对性能的影响，并展示了用户如何利用 SIM-SITU 在设计其原位工作流时确定有趣的权衡。
引用
@article{arxiv.2112.15067,
title = {SIM-SITU: A Framework for the Faithful Simulation of in-situ Workflows},
author = {Valentin Honoré and Tu Mai Anh Do and Loïc Pottier and Rafael Ferreira da Silva and Ewa Deelman and Frédéric Suter},
journal= {arXiv preprint arXiv:2112.15067},
year = {2022}
}