vDNN：用于可扩展、内存高效神经网络设计的虚拟化深度神经网络
分布式、并行与集群计算
2016-08-01 v3 机器学习
神经与进化计算
摘要
最广泛使用的机器学习框架要求用户仔细调整其内存使用，以使深度神经网络（DNN）适配 GPU 的 DRAM 容量。这一限制阻碍了研究人员研究不同机器学习算法的灵活性，迫使他们要么使用不太理想的网络架构，要么跨多个 GPU 并行处理。我们提出了一种运行时内存管理器，其将 DNN 的内存使用虚拟化，从而可同时利用 GPU 和 CPU 内存来训练更大的 DNN。我们的虚拟化 DNN（vDNN）将 AlexNet 的平均 GPU 内存使用降低了高达 89%，OverFeat 降低 91%，GoogLeNet 降低 95%，显著减少了 DNN 的内存需求。在迄今为止最深且最耗内存的 DNN 之一 VGG-16 上的类似实验证明了我们方案的存储效率。vDNN 使得批大小 256（需要 28 GB 内存）的 VGG-16 能够在单块含 12 GB 内存的 NVIDIA Titan X GPU 卡上训练，与假设的有足够内存容纳整个 DNN 的预言式 GPU 相比有 18% 的性能损失。
引用
@article{arxiv.1602.08124,
title = {vDNN: Virtualized Deep Neural Networks for Scalable, Memory-Efficient Neural Network Design},
author = {Minsoo Rhu and Natalia Gimelshein and Jason Clemons and Arslan Zulfiqar and Stephen W. Keckler},
journal= {arXiv preprint arXiv:1602.08124},
year = {2016}
}
备注
Published as a conference paper at the 49th IEEE/ACM International Symposium on Microarchitecture (MICRO-49), 2016