克服深度卷积网络定点训练中的挑战
机器学习
2016-07-11 v1 计算机视觉与模式识别
摘要
众所周知，以大幅降低的数值精度训练深度神经网络，特别是深度卷积网络，具有挑战性。随机梯度下降算法在由有限数值精度算术导致的噪声梯度更新存在时会变得不稳定。促进低精度定点网络训练的一个广为接受的解决方案是随机舍入。然而，据我们所知，使用噪声梯度更新训练神经网络时不稳定性的根源尚未得到充分研究。本工作试图在低数值精度与训练算法稳定性之间建立理论联系。在此过程中，我们还将提出并通过实验验证能够改进深度卷积网络定点训练性能的方法。
引用
@article{arxiv.1607.02241,
title = {Overcoming Challenges in Fixed Point Training of Deep Convolutional Networks},
author = {Darryl D. Lin and Sachin S. Talathi},
journal= {arXiv preprint arXiv:1607.02241},
year = {2016}
}
备注
ICML2016 - Workshop on On-Device Intelligence