反向传播算法的逐张量定点量化
机器学习
2019-01-01 v1 机器学习
摘要
神经网络的高计算与参数复杂度使其训练非常缓慢，且难以部署于能量与存储受限的计算系统。已有许多包括定点实现的网络复杂度缩减技术被提出。然而，设计深度神经网络全定点训练与推理的系统化方法仍难以捉摸。我们描述了一种神经网络训练的精度分配方法，其中所有网络参数，即前馈路径中的激活与权重、反馈路径中的梯度与权重累加器，均被分配给近乎最小精度。该精度分配由解析导出，并能跟踪已知先验收敛的全精度训练的收敛行为。因此，我们的工作引出了一种确定定点训练合适精度的系统化方法。所得精度分配的近最优（最小）性在CIFAR-10、CIFAR-100和SVHN数据集上对四个网络进行了实证验证。由我们的方法产生的复杂度缩减与其他定点神经网络设计进行了比较。
引用
@article{arxiv.1812.11732,
title = {Per-Tensor Fixed-Point Quantization of the Back-Propagation Algorithm},
author = {Charbel Sakr and Naresh Shanbhag},
journal= {arXiv preprint arXiv:1812.11732},
year = {2019}
}
备注
Published as a conference paper in ICLR 2019