CHAOS：一种在 Intel Xeon Phi 上训练卷积神经网络的并行化方案
分布式、并行与集群计算
2017-02-28 v1 计算机视觉与模式识别
机器学习
摘要
深度学习是大数据分析工具和智能应用（如自动驾驶汽车、计算机视觉、语音识别或精准医疗）的重要组成部分。然而，训练过程计算量巨大，若串行执行通常需要大量时间。现代并行计算系统提供了减少深度神经网络所需训练时间的能力。在本文中，我们提出了一种用于训练卷积神经网络（CNN）的并行化方案，命名为受控 Hogwild 任意顺序同步（CHAOS）。CHAOS 的主要特点包括支持线程和向量的并行性、反向传播过程中权重参数的非瞬时更新且无显著延迟，以及任意顺序的隐式同步。CHAOS 专为采用 Intel Xeon Phi 加速的并行计算系统量身定制。我们使用测量技术和性能建模，针对不同数量的线程和 CNN 架构对并行化方法进行了实证评估。在 Xeon Phi 上使用全部线程针对 MNIST 手写数字数据集的实验结果表明，与在 Xeon Phi 的单线程上执行相比，加速比最高达 103 倍；与 Intel Xeon E5 上的串行执行相比，加速比达 14 倍；与 Intel Core i5 上的串行执行相比，加速比达 58 倍。
引用
@article{arxiv.1702.07908,
title = {CHAOS: A Parallelization Scheme for Training Convolutional Neural Networks on Intel Xeon Phi},
author = {Andre Viebke and Suejb Memeti and Sabri Pllana and Ajith Abraham},
journal= {arXiv preprint arXiv:1702.07908},
year = {2017}
}
备注
The Journal of Supercomputing, 2017