通过梯度近似加速 CNN 训练
计算机视觉与模式识别
2019-08-16 v1 机器学习
摘要
通过梯度下降训练 VGG 和 ResNet 等深度卷积神经网络是一项昂贵的任务,需要 GPU 等专用硬件。近期工作探讨了在保持相同收敛特性的同时近似梯度计算的可能性。虽有前景,这些近似仅在如 MNIST 等相对较小的数据集上有效。由于缺乏所提近似方法的高效 GPU 实现,它们也未能实现真实的时钟时间加速。在本工作中,我们探索了三种替代的梯度近似方法,并为其中之一提供了高效的 GPU 核实现。我们在 CIFAR-10 数据集上以 ResNet-20 和 VGG-19 实现了超过 7% 的时钟时间加速,且验证精度损失极小。
引用
@article{arxiv.1908.05460,
title = {Accelerated CNN Training Through Gradient Approximation},
author = {Ziheng Wang and Sree Harsha Nelaturu},
journal= {arXiv preprint arXiv:1908.05460},
year = {2019}
}
备注
An abridged version was presented at EMC^2 : Workshop On Energy Efficient Machine Learning And Cognitive Computing For Embedded Applications at ISCA 2019