检查与缓解交叉杆非理想性对稀疏深度神经网络精确实现的影响
机器学习
2022-01-17 v1 新兴技术
摘要
最近，为了使用较少的交叉杆实现深度神经网络的节能高效化，引入了几种结构化剪枝技术。尽管这些技术声称能在交叉杆上保持稀疏DNN的准确性，但尚未有研究探讨不可避免的交叉杆非理想性对剪枝网络实际性能的影响。为此，我们进行了全面的研究，以展示导致显著交叉杆压缩率的高度稀疏DNN，与映射到非理想交叉杆上的未剪枝DNN相比，如何导致严重的精度损失。我们在VGG11和VGG16 DNN上使用基准数据集（CIFAR10和CIFAR100）进行了多种结构化剪枝方法（如C/F剪枝、XCS和XRS）的实验。我们提出了两种缓解方法——交叉杆列重排和权重约束训练——它们可以与稀疏DNN的交叉杆映射相集成，以最小化剪枝模型产生的精度损失。这些方法通过增加交叉杆上低电导突触的比例来缓解非理想性，从而提高其计算精度。
引用
@article{arxiv.2201.05229,
title = {Examining and Mitigating the Impact of Crossbar Non-idealities for Accurate Implementation of Sparse Deep Neural Networks},
author = {Abhiroop Bhattacharjee and Lakshya Bhatnagar and Priyadarshini Panda},
journal= {arXiv preprint arXiv:2201.05229},
year = {2022}
}
备注
Accepted in Design, Automation and Test in Europe (DATE) Conference, 2022