基于二的幂量化的神经网络节能硬件加速
计算机视觉与模式识别
2023-11-14 v1 硬件体系结构
机器学习
图像与视频处理
摘要
深度神经网络几乎主导了大多数现代视觉系统的领域，以计算复杂度增加为代价提供高性能。由于这些系统通常既要求实时运行又要求最小能耗（例如，对于可穿戴设备、自动驾驶车辆、边缘物联网（Internet of Things，IoT）、传感器网络），各种网络优化技术被使用，例如量化、剪枝或专用轻量架构。由于神经网络层中权重的对数分布，一种在显著降低计算精度（4 位权重及以下）时仍提供高性能的方法是二的幂（Power-of-Two，PoT）量化（因此也具有对数分布）。该方法引入了用更节能的位移累加（Bitshift and ACcumulate，BAC）替代神经网络典型的乘加（Multiply and ACcumulate，MAC——执行例如卷积操作）单元的可能性。在本文中，我们展示了在 Zynq UltraScale + MPSoC ZCU104 SoC FPGA 上实现的带 PoT 权重的硬件神经网络加速器，可比均匀量化版本节能至少 。为了通过省略零权重的部分计算来进一步降低实际功耗需求，我们还提出了一种适应对数量化的新剪枝方法。
引用
@article{arxiv.2209.15257,
title = {Energy Efficient Hardware Acceleration of Neural Networks with Power-of-Two Quantisation},
author = {Dominika Przewlocka-Rus and Tomasz Kryjak},
journal= {arXiv preprint arXiv:2209.15257},
year = {2023}
}
备注
Accepted for the ICCVG 2022 conference