HiKonv：基于新型位级管理与计算的高吞吐量化卷积
分布式、并行与集群计算
2021-12-30 v1 人工智能
摘要
卷积神经网络（CNN）的量化已在降低低比特宽度数据输入的计算与存储成本方面取得显著进展。然而，关于如何更好地利用现有的全比特宽度处理单元（如 CPU 和 DSP）在各种量化比特宽度下实现显著更高的卷积计算吞吐量，尚缺乏系统性研究。在本研究中，我们提出 HiKonv，一种统一解决方案，通过新颖的位级并行计算最大化给定底层处理单元处理低比特宽度量化数据输入的计算吞吐量。我们利用全比特宽度乘法器建立了高度并行化低比特宽度卷积的理论性能界限，并展示了在这一关键领域高性能计算的新突破。例如，单个 32 位处理单元可在一条 CPU 指令下完成 128 次二值化卷积操作（乘法与加法），单个 27x18 DSP 核可在一个周期内完成 8 次 4 位输入卷积操作。我们在 CPU 和 FPGA 上针对卷积层或完整 DNN 模型展示了 HiKonv 的有效性。对于量化为 4 位的卷积层，HiKonv 在 CPU 上使用 C++ 相较基线实现取得了 3.17 倍延迟改进。与 DAC-SDC 2020 FPGA 冠军模型相比，HiKonv 分别实现了 2.37 倍吞吐量提升和 2.61 倍 DSP 效率提升。
引用
@article{arxiv.2112.13972,
title = {HiKonv: High Throughput Quantized Convolution With Novel Bit-wise Management and Computation},
author = {Xinheng Liu and Yao Chen and Prakhar Ganesh and Junhao Pan and Jinjun Xiong and Deming Chen},
journal= {arXiv preprint arXiv:2112.13972},
year = {2021}
}
备注
7 pages, 6 figures. Accepted by ASP-DAC 2022