深度卷积网络的定点量化
机器学习
2016-06-03 v3
摘要
近年来，为提升图像识别任务的性能，人们提出了日益复杂的深度卷积网络（DCN）架构。然而，性能的提升是以计算和模型存储资源的大量增加为代价的。DCN 的定点实现有望缓解部分复杂性，并促进其在嵌入式硬件上的潜在部署。本文提出了一种用于 DCN 定点实现的量化器设计。我们构建并求解了一个优化问题，以确定各 DCN 层的最优定点位宽分配。实验表明，与等位宽设置相比，采用优化位宽分配的定点 DCN 在 CIFAR-10 基准上可在精度无损失的情况下使模型大小缩减超过 20%。我们还证明，微调可进一步提升定点 DCN 的精度，使其超越原始浮点模型。在此基础上，我们在 CIFAR-10 基准上报告了 6.78% 错误率的全新定点 SOTA 性能。
引用
@article{arxiv.1511.06393,
title = {Fixed Point Quantization of Deep Convolutional Networks},
author = {Darryl D. Lin and Sachin S. Talathi and V. Sreekanth Annapureddy},
journal= {arXiv preprint arXiv:1511.06393},
year = {2016}
}
备注
ICML 2016