轻量级并行基础:一种符合性能模型的通信层
分布式、并行与集群计算
2019-06-10 v1
摘要
我们提出了轻量级并行基础(Lightweight Parallel Foundations, LPF),这是一种可互操作且符合模型(model-compliant)的通信层,遵循严格的并行计算性能模型。LPF 由十二个原语组成,每个原元都具有严格的性能保证,其中两个支持互操作性。我们认为,互操作性与模型符合性原则足以支持不朽算法(immortal algorithms)的实际使用:这类算法一经证明最优便永久有效。理想情况下,它们也应仅实现一次,并可在广泛的串行与并行环境中使用。我们通过使用 LPF 实现不朽快速傅里叶变换(FFT)来评估这一范式,并与最先进的 FFT 实现进行比较。我们发现其性能与 Intel MKL FFT 相当,同时始终优于 FFTW,从而表明模型符合性可在不牺牲性能的前提下实现。互操作性鼓励不朽算法尽可能广泛地传播。我们通过将 LPF PageRank 集成到 Spark 中评估了这一点,无需更改任何 PageRank 或 Spark 源代码,且仅需一个最小的接口层。
引用
@article{arxiv.1906.03196,
title = {Lightweight Parallel Foundations: a model-compliant communication layer},
author = {Wijnand Suijlen and A. N. Yzelman},
journal= {arXiv preprint arXiv:1906.03196},
year = {2019}
}