工作窃取前缀扫描：解决大规模图像配准中的负载不平衡
分布式、并行与集群计算
2020-10-26 v1
摘要
并行模式（如map或reduce）已被证明是高性能应用并行化的有效工具。本文中，我们研究一系列电子显微镜图像的递归配准——这是纳米尺度显微分析所必需且耗时、不平衡的计算。我们展示通过将图像配准转化为前缀扫描的特定实例，可将这一看似顺序的问题转化为可扩展至超过数千核的并行计算。我们分析了多种对常见低计算量算子行为相似的扫描算法，并提出一种用于层次化前缀扫描的新型工作窃取过程。我们的评估表明，通过确定合适且优化良好的前缀扫描算法，我们将跨越十秒显微采集的4,096幅图像序列的求解时间从超过10小时减少至不到3分钟（使用1024个Intel Haswell核），从而能够对长显微图像序列推导纳米尺度材料性质。
引用
@article{arxiv.2010.12478,
title = {Work-stealing prefix scan: Addressing load imbalance in large-scale image registration},
author = {Marcin Copik and Tobias Grosser and Torsten Hoefler and Paolo Bientinesi and Benjamin Berkels},
journal= {arXiv preprint arXiv:2010.12478},
year = {2020}
}