简报：关于 GPU 上卷积神经网络并行化的局限
分布式、并行与集群计算
2020-05-29 v1 神经与进化计算
摘要
GPU 目前是训练神经网络的首选平台。然而，即使在 GPU 上，由于必须学习的参数数量巨大，训练深度神经网络（DNN）仍是一个耗时的过程。因此，加速 DNN 训练在过去几年中成为重要的研究领域。虽然较早的网络如 AlexNet 在层与操作之间具有线性依赖关系，但最先进的网络如 ResNet、PathNet 和 GoogleNet 具有展现更高层级间并行性的非线性结构。然而，流行的深度学习（DL）框架如 TensorFlow 和 PyTorch 在 GPU 上串行地启动大多数神经网络操作，尤其是卷积，并未利用这种操作间并行性。在本简报中，我们论证了利用最先进非线性网络中这种丰富并行性以减少训练时间的必要性与潜在收益。我们指出了在 DL 框架的 GPU 后端（如 cuDNN）上实现并发层执行所面临的挑战与局限，并提出了潜在的解决方案。
引用
@article{arxiv.2005.13823,
title = {Brief Announcement: On the Limits of Parallelizing Convolutional Neural Networks on GPUs},
author = {Behnam Pourghassemi and Chenghao Zhang and Joo Hwan Lee and Aparna Chandramowlishwaran},
journal= {arXiv preprint arXiv:2005.13823},
year = {2020}
}
备注
3 pages, 1 figure, to be published in Proceedings of the 32nd ACM Symposium on Parallelism in Algorithms and Architectures (SPAA '20)