BinSparX：降低 Xbar 数组硬件非理想性的稀疏化二进制神经网络
硬件体系结构
2024-12-05 v1
摘要
计算存储（Compute-in-Memory，CiM）基于二进制神经网络（CiM-BNN）的加速器结合了 CiM 和超低精度量化的优势，非常适用于边缘计算。然而，CiM 实现的交叉栏（Xbar）阵列因 parasitic resistance（parasitic 电阻）和器件非线性等硬件非理想性问题而受到影响，这些问题尤其在缩放技术中会损害推理准确性。本文首先分析了 Xbar 非理想性对各种 CiM-BNN 推理准确性的影响，确立了 CiM-BNN 独特特性使其比更高精度深度神经网络（DNN）更容易受到硬件非理想性影响。为解决此问题，我们提出 BinSparX，这是一种无训练的技术，用于缓解 CiM-BNN 中的非理想性。BinSparX 利用 BNN 的独特属性，在 Xbar 阵列中减少 CiM 操作期间生成的平均电流。这通过静态和动态稀疏化 BNN 权重和激活来实现（在 BNN 的上下文中，稀疏化定义为减少 +1 权重和激活的数量。这可以最小化 parasitic 电阻上的 IR 降落，显著缓解其对推理准确性的影响。为评估我们的技术，我们在 7nm 工艺节点上使用 8T-SRAM 和 1T-1ReRAM 设计的 ResNet-18 和 VGG-small CiM-BNN 上进行实验。我们的结果表明，BinSparX 在缓解非理想性影响方面非常有效，将推理准确性恢复到接近理想（软件）水平，并且在某些情况下提供最高 77.25% 的准确性提升。这些收益伴随能耗降低，尽管以轻微的延迟/面积增加为代价。
引用
@article{arxiv.2412.03553,
title = {BinSparX: Sparsified Binary Neural Networks for Reduced Hardware Non-Idealities in Xbar Arrays},
author = {Akul Malhotra and Sumeet Kumar Gupta},
journal= {arXiv preprint arXiv:2412.03553},
year = {2024}
}