PyTorch 上网络二值化的计算内核
机器学习
2019-11-13 v1 神经与进化计算
摘要
深度神经网络如今在图像分类、目标检测等广泛任务中已取得最先进的结果。然而,它们既消耗计算资源又占用内存,难以部署在低功耗设备上。网络二值化是现有的模型压缩与加速的有效技术之一,但在 PyTorch 上尚无可支持它的计算内核。本文开发了一个在 PyTorch 上支持 1-bit xnor 与 bitcount 计算的计算内核。实验结果表明,与控制组相比,我们的内核在 GPU 上可将二值化神经网络的推理加速 3 倍,在 CPU 上加速 4.5 倍。
引用
@article{arxiv.1911.04477,
title = {A Computing Kernel for Network Binarization on PyTorch},
author = {Xianda Xu and Marco Pedersoli},
journal= {arXiv preprint arXiv:1911.04477},
year = {2019}
}