通过自适应位分配实现高效且精确的脉冲神经网络
神经与进化计算
2025-12-02 v4 人工智能
计算机视觉与模式识别
机器学习
摘要
多位脉冲神经网络 (SNN) 近期成为能效高、精度好的 AI 研究热点。然而，随着位数增加，相关内存和计算需求急剧上升，导致性能提升效果不成比例。基于不同层重要性不同、额外位数可能浪费和干扰的洞察，本文提出了一种用于直接训练的 SNN 的自适应位分配策略，实现了对内存和计算资源的细粒度、层级分配，从而提升 SNN 的效率和精度。具体而言，我们对时间长度和权重、脉冲的位宽进行参数化，使其可通过梯度学习和控制。为解决因位宽和时间长度可变导致的挑战，我们提出了改进型脉冲神经元，可处理不同时间长度、支持时间长度的梯度求导，并更适合脉冲量化。在此基础上，我们理论上刻画了可学习位宽的步长不匹配问题，这可能导致严重的量化误差，并据此提出步长更新机制以缓解此问题。在包括静态 CIFAR、ImageNet 数据集以及动态 CIFAR-DVS、DVS-GESTURE 数据集在内的多个数据集上的实验表明，我们的方法可在保持更高精度的同时，显著降低总体内存和计算开销。特别地，本文的 SEWResNet-34 在 ImageNet 上相较于先进基线工作实现了 2.69% 的精度提升和 4.16 倍的位预算降低。本工作已开源于 \href{https://github.com/Ikarosy/Towards-Efficient-and-Accurate-Spiking-Neural-Networks-via-Adaptive-Bit-Allocation}{此链接}。
引用
@article{arxiv.2506.23717,
title = {Towards Efficient and Accurate Spiking Neural Networks via Adaptive Bit Allocation},
author = {Xingting Yao and Qinghao Hu and Fei Zhou and Tielong Liu and Gang Li and Peisong Wang and Jian Cheng},
journal= {arXiv preprint arXiv:2506.23717},
year = {2025}
}
备注
Neural Networks, In press