Intel Xeon Phi 在监督式深度学习中的潜力
分布式、并行与集群计算
2015-07-01 v1
摘要
卷积神经网络（CNNs）的监督学习，也称为监督式深度学习，是一个计算需求密集的过程。为了针对给定应用找到网络最合适的参数，需要大量训练会话。因此，减少每次会话的训练时间对于在实践中充分利用 CNN 至关重要。尽管众多研究小组已探讨使用 GPU 训练 CNN，但迄今为止对 Intel Xeon Phi 协处理器的关注甚少。本文从经验和理论上研究了 Intel Xeon Phi 用于 CNN 监督学习的潜力。我们设计并实现了一个名为 CHAOS 的并行化方案，该方案利用了协处理器的线程级与 SIMD 级并行性。我们的方法在 Intel Xeon Phi 7120P 上使用手写数字 MNIST 数据集，针对各种线程数和 CNN 架构进行了评估。结果显示，与使用协处理器上单线程相比，使用 244 个线程训练我们的大型网络 15 个 epoch 实现了 103.5 倍的加速。此外，我们开发了性能模型并用其评估我们的实现以及回答假设性问题。
引用
@article{arxiv.1506.09067,
title = {The Potential of the Intel Xeon Phi for Supervised Deep Learning},
author = {Andre Viebke and Sabri Pllana},
journal= {arXiv preprint arXiv:1506.09067},
year = {2015}
}
备注
The 17th IEEE International Conference on High Performance Computing and Communications (HPCC 2015), Aug. 24 - 26, 2015, New York, USA