Supported-BinaryNet：基于位单元阵列的权重支持实现SRAM二值神经网络动态精度-延迟权衡
神经与进化计算
2019-11-27 v2 信号处理
摘要
本工作中，我们引入基于位单元阵列的支持参数，以提升基于SRAM的二值神经网络（SRAM-BNN）的预测精度。我们的方法增强了SRAM-BNN的训练权重空间，同时对典型设计仅需极小开销。权重空间的更大灵活性带来了我们设计中更高的预测精度。我们改造了SRAM-BNN中的行数模（DAC）转换器与计算流，以适配基于位单元阵列的权重支持。利用所述干预，我们的方案还允许精度对延迟的动态权衡，以应对典型实时应用中的动态延迟约束。我们具体讨论了两种训练情形下的结果：（i）在预训练BNN上学习支持参数；（ii）同时学习支持与权重二值化。在前一情形中，我们的方法将MNIST上的分类错误率降低35.71%（错误率从1.4%降至0.91%）。在后一情形中，错误率降低27.65%（错误率从1.4%降至1.13%）。为降低功耗开销，我们提出动态丢弃部分支持参数。我们的架构可在不损失精度的情况下丢弃52%的基于位单元阵列的支持参数。我们还表征了我们的设计在不同程度晶体管工艺偏差下的表现。
引用
@article{arxiv.1911.08518,
title = {Supported-BinaryNet: Bitcell Array-based Weight Supports for Dynamic Accuracy-Latency Trade-offs in SRAM-based Binarized Neural Network},
author = {Shamma Nasrin and Srikanth Ramakrishna and Theja Tulabandhula and Amit Ranjan Trivedi},
journal= {arXiv preprint arXiv:1911.08518},
year = {2019}
}