WRPN 与 Apprentice：使用低精度数值的训练与推理方法
计算机视觉与模式识别
2018-03-02 v1 机器学习
神经与进化计算
摘要
当今高性能深度学习架构涉及具有大量参数的大型模型。低精度数值已成为降低这些大型模型的计算与内存需求的流行技术。然而，降低精度常导致精度下降。我们描述了三种方案，可同时使用低精度数值进行训练与高效推理而不损害精度。最后，我们描述了一种可利用所提低精度数值的高效硬件加速器。
引用
@article{arxiv.1803.00227,
title = {WRPN & Apprentice: Methods for Training and Inference using Low-Precision Numerics},
author = {Asit Mishra and Debbie Marr},
journal= {arXiv preprint arXiv:1803.00227},
year = {2018}
}
备注
Tech report