基于高效余数系统的Winograd卷积
机器学习
2020-07-27 v1 机器学习
摘要
先前的研究表明，Winograd算法可以降低卷积神经网络（CNN）在浮点表示权重和激活值时的计算复杂度。然而，将该方案应用于低精度量化（例如INT8）网络的推理较为困难。我们的工作将Winograd算法扩展到余数系统（RNS）。通过使用Winograd变换和低成本（例如8位）算术，在较大的变换块（例如10 x 10到16 x 16）上精确计算最小复杂度卷积，而不会在推理过程中降低网络的预测精度。对于3×3和5×5滤波器，算术复杂度降低最高可达7.03倍，而性能提升分别可达2.30倍至4.69倍。
引用
@article{arxiv.2007.12216,
title = {Efficient Residue Number System Based Winograd Convolution},
author = {Zhi-Gang Liu and Matthew Mattina},
journal= {arXiv preprint arXiv:2007.12216},
year = {2020}
}
备注
Accepted by ECCV2020 Conference