并行执行中计算有向无环图的数据移动复杂性特征刻画
分布式、并行与集群计算
2014-04-21 v1 数据结构与算法
摘要
技术发展趋势使得数据移动的成本（包括能耗和时间）在计算机系统中日益超过算术运算的成本。并行计算机系统中的聚合数据移动带宽与总算力之比（也称为机器平衡参数）正在下降。因此，刻画并行算法固有的数据移动需求至关重要，以便充分理解未来系统支持这些算法所需的最小架构平衡参数。本文扩展了著名的红蓝石子游戏（red-blue pebble game），为并行系统上计算有向无环图（CDAGs）的并行执行推导数据移动复杂性的下界。我们对多节点多核并行系统进行建模，其中总物理内存分布在通过某种互连网络连接的各种节点上，且节点内的处理器具有多级共享缓存层次结构。我们还开发了针对非齐次 CDAG 下界特征刻画的新方法。通过分析若干数值算法的 CDAG，我们展示了该方法在推导其并行执行数据移动下界方面的应用。
引用
@article{arxiv.1404.4767,
title = {On Characterizing the Data Movement Complexity of Computational DAGs for Parallel Execution},
author = {Venmugil Elango and Fabrice Rastello and Louis-Noël Pouchet and J. Ramanujam and P. Sadayappan},
journal= {arXiv preprint arXiv:1404.4767},
year = {2014}
}