基于能耗调优的多 GPU 卷积神经网络
计算机视觉与模式识别
2018-08-02 v1
摘要
深度学习(DL)应用在人工智能领域正获得越来越多的关注，尤其在 GPU 展现出加速其艰巨计算需求的卓越能力之后。在此背景下，卷积神经网络(CNN)模型在广泛复杂应用上构成了一个成功的代表性例子，特别是在目标可通过递增语义复杂度的局部特征层次来表示的数据集上。在大多数真实场景中，改进结果的路径依赖于涉及暴力计算的 CNN 设置，且研究人员近来已证明 Nvidia GPU 是最佳的加速硬件对应之一。我们的工作以针对 CNN 在旗舰图像与视频应用上部署的关键参数的能耗研究补充了这些发现：分别为目标识别与基于步态的行人识别。我们基于两个最流行网络(ResNet/AlexNet)评估了四种不同网络的能耗：ResNet(167 层)、一个 2D CNN(15 层)、一个 CaffeNet(25 层)以及一个 ResNetIm(94 层)，使用批大小 64、128 和 256，然后将它们与加速比和准确率相关联以确定最优设置。在配备双 Maxwell 与双 Pascal Titan X GPU 的多 GPU 服务器上的实验结果表明，能耗与性能相关，且 Pascal 相较 Maxwell 可有高达 40% 的收益。更大的批大小扩展了性能收益与节能，但我们必须留意准确率，其有时表现出对小批大小的偏好。我们期望本工作为现代 HPC 时代中广泛的 CNN 与 DL 应用提供初步指导，其中 GFLOPS/w 比率是首要目标。
引用
@article{arxiv.1808.00286,
title = {Energy-based Tuning of Convolutional Neural Networks on Multi-GPUs},
author = {Francisco M. Castro and Nicolás Guil and Manuel J. Marín-Jiménez and Jesús Pérez-Serrano and Manuel Ujaldón},
journal= {arXiv preprint arXiv:1808.00286},
year = {2018}
}
备注
To appear in Concurrency and Computation: Practice and Experience