混合集群平台上分层分析流水线的高吞吐执行

我们提出、实现并实验评估了一种运行时中间件，以支持在混合集群机器上高吞吐地执行大规模分析应用。混合集群机器由拥有多个 CPU 和通用图形处理单元 (GPU) 的计算节点组成。我们的工作针对科学分析应用，其中数据集按特定于应用的数据块进行处理，而数据块的处理被表达为操作的分层流水线。所提出的中间件系统结合了包任务 (bag-of-tasks) 风格的执行与粗粒度数据流执行。数据块及相关数据处理流水线采用需求驱动的方式在集群节点间调度，而在节点内部，给定流水线实例中的操作则在 CPU 和 GPU 之间调度。该运行时系统实现了多项优化，包括性能感知任务调度、架构感知进程放置、数据局部性感知任务分配以及数据预取和异步数据拷贝，以最大化 CPU 和 GPU 聚合计算能力的利用率并最小化数据拷贝开销。我们使用一项应用于脑癌研究的图像分析应用，在每台节点配备两个 6 核 CPU 和三个 GPU 的最先进混合集群上，展示了该运行时中间件的应用和性能优势。结果表明，将应用数据处理实现并调度为一组细粒度操作，相比粗粒度的单体实现，能提供更多运行时优化机会并获得更好的性能。所提出的运行时系统可实现大数据集的高吞吐处理——我们能够在 100 个节点上以约 150 块/秒的速率处理由 36,848 个 4Kx4K 像素图像瓦片组成的图像数据集。