TabConv: 基于查表的低计算量CNN推理
计算机视觉与模式识别
2024-04-10 v1 机器学习
神经与进化计算
摘要
卷积神经网络（CNN）在计算机视觉领域展现了卓越的能力。然而，CNN推理需要大量的算术运算，使得其在硬件部署上成本高昂。当前的方法通过开发硬件支持的算法过程来简化空间卷积函数，从而缓解这一问题。然而，这些方法仍然严重依赖矩阵乘法，导致显著的计算开销。为了弥合硬件、算法加速和近似矩阵乘法之间的差距，我们提出了TabConv，一种新颖的基于查表的卷积近似方法，以显著减少推理期间的算术运算。此外，我们引入了一种基于余弦相似度的优先级掩码技术，用于选择进行查表近似的层，从而保持模型性能。我们在流行的CNN上评估了我们的方法：ResNet-18、ResNet-34和NetworkInNetwork（NIN）。TabConv在CIFAR-10、CIFAR-100和MNIST上分别将ResNet-18的算术运算减少了36.5%、25.8%和99.4%，同时保留了原始模型超过93%的性能；在CIFAR-10和MNIST上分别将ResNet-34的算术运算减少了35.6%和99.3%；在MNIST上将NIN的算术运算减少了98.9%，实现了低计算推理。
引用
@article{arxiv.2404.05872,
title = {TabConv: Low-Computation CNN Inference via Table Lookups},
author = {Neelesh Gupta and Narayanan Kannan and Pengmiao Zhang and Viktor Prasanna},
journal= {arXiv preprint arXiv:2404.05872},
year = {2024}
}
备注
8 pages, Accepted at CF '24