Spark-MPI：迈向认知应用的第五范式
分布式、并行与集群计算
2018-06-05 v1
摘要
在过去的十年中，数据密集型科学的第四范式迅速成为涵盖并生成诸如光源与尖端望远镜等大规模设备的多个应用领域的主要驱动概念。数据密集型项目的成功随后引发了下一代机器学习方法。这些新的人工智能系统清晰地代表了从数据处理流水线向复合认知应用第五范式的范式转变，其需要大数据处理平台与HPC技术的集成。本文通过提出基于MPI百亿亿次进程管理接口（PMIx）的Spark-MPI方法来解决数据密集型与计算密集型生态系统之间现有的阻抗失配问题。该方法在混合MPI/GPU叠层衍射成像重建流水线与分布式深度学习应用的背景下进行了演示。
引用
@article{arxiv.1806.01110,
title = {Spark-MPI: Approaching the Fifth Paradigm of Cognitive Applications},
author = {Nikolay Malitsky and Ralph Castain and Matt Cowan},
journal= {arXiv preprint arXiv:1806.01110},
year = {2018}
}
备注
Deep Learning, HPC, PMIx