训练三值量化
机器学习
2017-02-24 v3
摘要
深度神经网络广泛应用于机器学习。然而，将大型神经网络模型部署在功率预算有限的移动设备上可能存在困难。为了解决这个问题，我们提出了训练三值量化（TTQ），一种可以将神经网络中权重的精度降低至三值的方法。该方法的精度下降极小，甚至可以提高某些模型（32、44、56 层 ResNet）在 CIFAR-10 上的准确率以及 AlexNet 在 ImageNet 上的准确率。而且我们的 AlexNet 模型是从零开始训练的，这意味着它和训练正常的全精度模型一样容易。我们强调我们的训练量化方法可以同时学习三值数值和三值分配。在推理阶段，只需要三值数值（2 比特权重）和缩放因子，因此我们的模型比全精度模型小近 16 倍。我们的三值模型也可以被视为稀疏二值权重网络，这有可能通过定制电路进行加速。在 CIFAR-10 上的实验表明，通过训练量化方法获得的三值模型分别比 ResNet-32、44、56 的全精度模型高出 0.04%、0.16% 和 0.36%。在 ImageNet 上，我们的模型在 Top-1 准确率上比全精度 AlexNet 模型高出 0.3%，并比以往的三值模型高出 3%。
引用
@article{arxiv.1612.01064,
title = {Trained Ternary Quantization},
author = {Chenzhuo Zhu and Song Han and Huizi Mao and William J. Dally},
journal= {arXiv preprint arXiv:1612.01064},
year = {2017}
}
备注
Accepted for Poster Presentation on ICLR 2017