深度神经网络中的随机逐层精度
机器学习
2018-07-04 v1 机器学习
摘要
低精度权重、激活值和梯度已被提出作为提升深度神经网络计算效率和减少内存占用的一种方式。近来，低精度网络甚至显示出对对抗攻击更具鲁棒性。然而，低精度 DNN 的典型实现在网络所有层中使用统一精度。在本工作中，我们探究网络内精度的异构分配是否能带来性能提升，并引入一种学习方案，其中 DNN 通过学习中随机探索多种精度配置。这使得网络能够学习最优精度配置。我们在 MNIST 和 ILSVRC12 上训练的卷积神经网络上表明，尽管这些网络分别学到了统一或近乎统一的分配策略，随机精度带来了有利的正则化效应，改善了泛化能力。
引用
@article{arxiv.1807.00942,
title = {Stochastic Layer-Wise Precision in Deep Neural Networks},
author = {Griffin Lacey and Graham W. Taylor and Shawki Areibi},
journal= {arXiv preprint arXiv:1807.00942},
year = {2018}
}
备注
UAI 2018