脉冲神经网络权重量化与剪枝的硬件影响
机器学习
2023-02-09 v1
摘要
由于有可能开发出具备生物大脑计算能力和能效的人工系统，脉冲神经网络(SNNs)的节能实现与部署一直备受关注。现代数字硬件上SNN的高效实现也受到机器学习和深度神经网络(DNNs)进展的启发。高效部署DNNs所广泛采用的两种技术——参数的量化和剪枝，均可压缩模型尺寸、减少内存占用并促进低延迟执行。量化与剪枝之间的相互作用以及它们如何影响SNN加速器上的模型性能目前尚不清楚。我们针对一个面向动态视觉传感器相机(DVS)手势识别的先进SNN，研究了剪枝与量化在孤立、累积和同时（联合）应用下的各种组合。我们表明该先进模型可承受激进的参数量化，在权重降至三元前精度无任何损失。然而，剪枝仅在达80%稀疏度前保持同等精度，这在我们架构模型上比最佳量化多耗能45%。同时应用剪枝与量化可导致精度损失，从而在给定硬件配置的能量-精度帕累托前沿上提供有利的权衡。
引用
@article{arxiv.2302.04174,
title = {The Hardware Impact of Quantization and Pruning for Weights in Spiking Neural Networks},
author = {Clemens JS Schaefer and Pooria Taheri and Mark Horeni and Siddharth Joshi},
journal= {arXiv preprint arXiv:2302.04174},
year = {2023}
}
备注
Code https://github.com/Intelligent-Microsystems-Lab/SNNQuantPrune