基于注意力的卷积神经网络量化
人工智能
2022-10-03 v1 计算机视觉与模式识别
摘要
已证明，与在训练阶段使用 32 位浮点数相比，深度卷积神经网络（DCNNs）在推理时可用低精度运行，从而节省内存空间与功耗。然而，量化网络总伴随精度下降。在此，我们提出一种方法——双阶段 Squeeze-and-Threshold（双阶段 ST）。它使用注意力机制量化网络并达到最先进结果。使用我们的方法，3 位模型可达到超过全精度基线模型精度的准确率。所提出的双阶段 ST 激活量化易于应用：将其插入卷积之前即可。
引用
@article{arxiv.2209.15317,
title = {Convolutional Neural Networks Quantization with Attention},
author = {Binyi Wu and Bernd Waschneck and Christian Georg Mayr},
journal= {arXiv preprint arXiv:2209.15317},
year = {2022}
}
备注
Preprint of an article published in International Journal of Neural Systems, [10.1142/S0129065722500514] \c{opyright} [copyright World Scientific Publishing Company] [https://www.worldscientific.com/doi/10.1142/S0129065722500514]