BBS：面向深度学习加速的双向比特级稀疏性
机器学习
2024-09-10 v1 硬件体系结构
摘要
比特级稀疏性方法跳过无效的零位操作，通常适用于比特串行深度学习加速器。这种比特级的稀疏性尤其有趣，因为它与量化和剪枝等其他深度神经网络(DNN)效率方法既正交又兼容。在这项工作中，我们通过一种新颖的算法比特剪枝、平均和压缩方法，以及协同设计的高效比特串行硬件加速器，提高了比特级稀疏性的实用性和效率。在算法方面，我们引入了双向比特稀疏性(BBS)。BBS的关键洞察在于，我们可以以对称的方式利用比特稀疏性来剪枝零位或一位。这显著改善了比特串行计算的负载均衡，并保证了稀疏性水平超过50%。在BBS的基础上，我们进一步提出了两种无需重新训练的比特级二值剪枝方法，可以无缝应用于量化DNN。结合二值剪枝与新的张量编码方案，BBS既可以跳过计算，又可以减少与双向稀疏比特列相关的内存占用。在硬件方面，我们通过BitVert展示了BBS的潜力，这是一种具有高效PE设计的比特串行架构，利用我们提出的二值剪枝以低开销加速DNN。在七个代表性DNN模型上的评估表明，我们的方法实现了：(1) 模型大小平均减少1.66倍，精度损失可忽略不计（<0.5%）；(2) 与先前的DNN加速器相比，速度提升高达3.03倍，能耗节省高达2.44倍。
引用
@article{arxiv.2409.05227,
title = {BBS: Bi-directional Bit-level Sparsity for Deep Learning Acceleration},
author = {Yuzong Chen and Jian Meng and Jae-sun Seo and Mohamed S. Abdelfattah},
journal= {arXiv preprint arXiv:2409.05227},
year = {2024}
}
备注
Accepted by IEEE/ACM MICRO 2024