WRPN：宽低精度网络
计算机视觉与模式识别
2017-09-06 v1 机器学习
神经与进化计算
摘要
针对计算机视觉应用，先前工作已表明在深度神经网络中降低模型参数(网络权重)的数值精度是有效的。然而，当使用输入的小批量时，激活图在训练和推理阶段均占用大量内存足迹。减少此大量内存足迹的一种方法是降低激活的精度。然而，过去的工作表明降低激活精度会损害模型准确率。我们研究了从头训练使用低精度激活且不损害准确率的网络方案。我们降低激活图(以及模型参数)的精度并增加层中滤波器图的数量，发现该方案匹配或超越了基线全精度网络的准确率。因此，在适当的硬件支持下，可显著改善执行效率(例如减少动态内存足迹、内存带宽和计算能耗)并加速训练与推理过程。我们称我们的方案为WRPN——宽低精度网络。我们报告了结果，并表明WRPN方案在ILSVRC-12数据集上优于先前报道的准确率，同时与先前报道的低精度网络相比计算开销更低。
引用
@article{arxiv.1709.01134,
title = {WRPN: Wide Reduced-Precision Networks},
author = {Asit Mishra and Eriko Nurvitadhi and Jeffrey J Cook and Debbie Marr},
journal= {arXiv preprint arXiv:1709.01134},
year = {2017}
}