用于DNN的Winograd卷积：超越线性多项式
机器学习
2019-06-26 v2 机器学习
摘要
Winograd卷积在深度神经网络（DNNs）中被广泛使用。现有针对DNN的工作仅考虑了等价于Toom-Cook卷积的Winograd算法子集。我们研究了DNN的更广泛Winograd算法范围，并表明这些额外算法在许多情况下能显著提升浮点（FP）精度。我们给出了三种FP格式的结果：fp32、fp16和bf16（fp32的截断形式），使用来自ImageNet数据集的2000个输入。我们发现，在fp16下，这种方法在一个重要案例中使图像识别精度提升高达6.5倍，同时保持最内层循环中相同数量的元素乘运算。在bf16下，与当前使用的Winograd算法相比，该卷积可用少5%的最内层循环乘法计算，同时将图像识别精度保持与直接卷积方法相同。
引用
@article{arxiv.1905.05233,
title = {Winograd Convolution for DNNs: Beyond linear polynomials},
author = {Barbara Barabasz and David Gregg},
journal= {arXiv preprint arXiv:1905.05233},
year = {2019}
}