带异构和冗余作业的屏障模式并行系统性能与稳定性

在并行计算的某些模型中，作业被划分为更小的任务，可完全异步执行。但在另一些情况下，平行任务具有约束，要求其启动和可能的离开时间同步。这一点也适用于许多并行化的机器学习工作负载，Apache Spark 处理引擎最近添加了对屏障执行模式的支持，允许用户为作业添加此类屏障。这些屏障必然导致某些工作节点的空闲期，从而降低其稳定性和性能，与没有屏障的等效工作负载相比。在本文中，我们将考虑并分析因屏障导致的稳定性和性能惩罚。我们包括对 $(s,k,l)$ 屏障系统稳定性的分析，该系统允许作业在 $k$ 个任务中完成 $l$ 个任务后离开。我们还推导并评估了混合屏障系统的性能界限，这些系统服务于兼有无屏障作业和带屏障作业的任务混合，且并行度各不相同。对于纯 1 屏障情况，我们将把界限和仿真结果与来自独立 Spark 系统的基准数据进行比较。我们研究了实际系统中的开销，并基于其分布将其归因于用于调度屏障模式作业的双事件和轮询驱动机制。我们开发了此类开销的模型，并通过仿真将其与实际系统验证。