用于 DNN 的量化 Winograd/Toom-Cook 卷积：超越规范多项式基
机器学习
2020-04-24 v1 数值分析
数值分析
机器学习
摘要
近年来，如何加速深度神经网络中的卷积计算问题得到了广泛研究。Winograd 卷积算法是一种常用的方法，能显著减少时间消耗。然而，它存在数值精度问题，特别是在低精度下。在本文中，我们提出了基变换技术在量化 Winograd 感知训练模型中的应用。我们表明，对于测试的网络（Resnet18）和数据集（CIFAR10），我们可以将 bit 量化网络训练到几乎与量化直接卷积相同的精度（损失在 0.5% 以内），且仅需在预/后变换中增加少量操作。将 Hadamard 乘积保持在 bits 使我们能够获得与直接卷积相同的精度。
关键词
引用
@article{arxiv.2004.11077,
title = {Quantaized Winograd/Toom-Cook Convolution for DNNs: Beyond Canonical Polynomials Base},
author = {Barbara Barabasz},
journal= {arXiv preprint arXiv:2004.11077},
year = {2020}
}