随机反向传播的深入研究
计算机视觉与模式识别
2022-10-04 v1
摘要
在本文中，我们对训练深度神经网络用于标准图像分类与目标检测任务时的随机反向传播（Stochastic Backpropagation, SBP）进行了深入研究。在反向传播过程中，SBP仅使用特征图的一个子集来计算梯度，以节省GPU显存与计算开销。我们将SBP解释为通过执行反向传播丢弃（backpropagation dropout）来实现随机梯度下降的一种高效方式，其能显著节省显存并加速训练过程，同时对整体模型精度影响极小。我们提供了在训练图像识别模型中应用SBP的一些良好实践，这些实践可用于学习广泛的深度神经网络。在图像分类与目标检测上的实验表明，SBP可节省高达40%的GPU显存，且精度下降小于1%。
引用
@article{arxiv.2210.00129,
title = {An In-depth Study of Stochastic Backpropagation},
author = {Jun Fang and Mingze Xu and Hao Chen and Bing Shuai and Zhuowen Tu and Joseph Tighe},
journal= {arXiv preprint arXiv:2210.00129},
year = {2022}
}
备注
NeurIPS 2022