WRPN：使用宽约简精度网络的训练与推理
机器学习
2017-04-12 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
对于计算机视觉应用，先前工作已表明在深度神经网络中降低模型参数（网络权重）的数值精度是有效的，但同时也表明降低激活值的精度比降低模型参数的精度对模型准确率的损害更大。我们研究了使用降低精度的激活值从头训练网络而不损害模型准确率的方案。我们使用一种新颖的量化方案降低激活图（以及模型参数）的精度，并增加层中滤波器图的数量，发现该方案补偿或超越了基线全精度网络的准确率。因此，在适当的硬件支持下，可以显著减少动态内存占用、内存带宽、计算能量并加速训练和推理过程。我们称我们的方案为WRPN——宽约简精度网络。我们报告了使用我们提出方案的结果，并表明与先前报道的约简精度网络相比，我们在ILSVRC-12数据集上取得了更好的准确率且计算开销更低。
引用
@article{arxiv.1704.03079,
title = {WRPN: Training and Inference using Wide Reduced-Precision Networks},
author = {Asit Mishra and Jeffrey J Cook and Eriko Nurvitadhi and Debbie Marr},
journal= {arXiv preprint arXiv:1704.03079},
year = {2017}
}
备注
Under submission to CVPR Workshop