利用稀疏性在GPU上加速卷积神经网络
分布式、并行与集群计算
2023-08-01 v6
摘要
卷积神经网络（CNN）是一种重要的深度学习方法。卷积操作在CNN的总执行时间中占很大比例。用于卷积操作的特征图通常是稀疏的。特征图中零值的乘法和加法对卷积结果无用。此外，在传统方法中，卷积层与池化层分开计算，这导致CPU与GPU之间频繁的数据传输。基于这些观察，我们提出了两种在GPU上加速CNN的新方法。第一种方法侧重于加速卷积操作并减少零值的计算。第二种方法将一个卷积层与其后的池化层操作相结合，以有效减少CPU与GPU之间的流量。对于第一种方法，我们从LeNet、AlexNet和GoogLeNet中提取若干卷积层，在GPU上单层卷积相对于cuDNN可实现高达3.6倍的加速。在VGG-19上的实验相对于cuDNN在卷积操作上平均实现3.5倍加速。对于第二种方法，在VGG-19上的实验相对于cuDNN平均实现4.3倍加速。
引用
@article{arxiv.1909.09927,
title = {Accelerating convolutional neural network by exploiting sparsity on GPUs},
author = {Weizhi Xu and Yintai Sun and fhengyu Fan and Hui Yu and Xin Fu},
journal= {arXiv preprint arXiv:1909.09927},
year = {2023}
}
备注
This paper has been accepted by ACM TACO