DSConv:高效卷积算子
计算机视觉与模式识别
2019-11-11 v2
摘要
量化是提高卷积神经网络(CNNs)速度并降低其内存占用的一种流行方法。在有标记训练数据可用时,网络权重和激活已成功量化至1位。而在无标记训练数据可用(例如量化预训练模型)的情形下则不然,当前方法在8位量化时至多显示无精度损失。我们提出DSConv,一种灵活的量化卷积算子,它以远为廉价的整数运算替代单精度运算,同时保持核权重与输出上的概率分布。我们将该模型作为标准卷积的即插即用替代,在最流行的神经网络架构ResNet、DenseNet、GoogLeNet、AlexNet和VGG-Net上测试,展示了SOTA结果:仅使用4位量化、无需重训练,精度损失小于1%。我们还展示了基于蒸馏的、利用无标记数据的自适应阶段可进一步改善结果。
引用
@article{arxiv.1901.01928,
title = {DSConv: Efficient Convolution Operator},
author = {Marcelo Gennari and Roger Fawcett and Victor Adrian Prisacariu},
journal= {arXiv preprint arXiv:1901.01928},
year = {2019}
}