Atos：面向动态不规则计算的任务并行 GPU 动态调度框架
分布式、并行与集群计算
2021-12-02 v1
摘要
我们提出 Atos，一个任务并行 GPU 动态调度框架，特别适用于动态不规则应用。与主流的块同步并行（BSP）框架相比，Atos 通过支持具有松弛依赖关系的应用的任务并行表述来暴露额外并发性，从而实现更高的 GPU 利用率，这对于存在并发瓶颈的问题尤为显著。除数据并行负载均衡外，Atos 还提供隐式任务并行负载均衡，赋予用户在二者间灵活平衡以达成最优性能的能力。最后，Atos 允许用户通过控制内核策略与任务并行粒度来适配不同用例。我们论证了这些控制在实践中均十分重要。我们在广度优先搜索、PageRank 和图着色三个应用上评估并分析了 Atos 与 BSP 的性能。与最先进的 BSP GPU 实现相比，Atos 实现在三项案例研究中分别取得 3.44x、2.1x 和 2.77x 的几何平均加速比，以及 12.8x、3.2x 和 9.08x 的峰值加速比。除简单量化加速比外，我们深入分析了各加速比背后的原因。这一更深理解使我们能推导出针对不同应用如何选择最优 Atos 配置的一般性准则。最后，我们的分析为未来的动态调度框架设计提供了见解。
引用
@article{arxiv.2112.00132,
title = {Atos: A Task-Parallel GPU Dynamic Scheduling Framework for Dynamic Irregular Computations},
author = {Yuxin Chen and Benjamin Brock and Serban Porumbescu and Aydın Buluç and Katherine Yelick and John D. Owens},
journal= {arXiv preprint arXiv:2112.00132},
year = {2021}
}
备注
12 pages, 4 figures