深度神经网络中数值精度的探索
机器学习
2018-05-04 v1 机器学习
摘要
降低数值精度是许多深度神经网络（DNN）中减少计算成本的常用技术。尽管已观察到 DNN 对小误差和噪声具有弹性，但目前尚无能够预测给定 DNN 系统架构对降低精度的敏感性的通用结果。在本项目中，我们使用具有截断方法的指定浮点表示来模拟任意位宽，该方法在每批次后应用于神经网络。我们探索了若干模型参数对网络训练精度的影响，并给出了在 MNIST 数据集上的结果。随后我们给出了对前向与反向传播中误差缩放的初步理论探究。最后我们讨论了这些结果的含义以及推广到其他网络架构的潜力。
引用
@article{arxiv.1805.01078,
title = {Exploration of Numerical Precision in Deep Neural Networks},
author = {Zhaoqi Li and Yu Ma and Catalina Vajiac and Yunkai Zhang},
journal= {arXiv preprint arXiv:1805.01078},
year = {2018}
}