自适应校准：面向脉冲神经网络的统一转换框架
计算机视觉与模式识别
2024-12-24 v1 神经与进化计算
摘要
脉冲神经网络（SNN）被视为传统人工神经网络（ANN）的高效替代方案，但性能差距仍是一个挑战。虽然通过 ANN 到 SNN 转换不断缩小这一差距，但仍需大量计算资源，且转换后的 SNN 的能源效率无法得到保证。为此，我们提出了一种统一的无训练转换框架，显著提升转换后 SNN 的性能和效率。灵感来自生物神经系统，我们提出了一种新型自适应发放神经元模型（AdaFire），该模型在不同层之间动态调整发放模式，从而在有限的推理时间步内大幅降低转换 SNN 的主要误差来源——不均匀性误差。我们进一步引入两种效率提升技术：灵敏度脉冲压缩（SSC）技术用于减少脉冲运算，以及输入感知自适应时间步（IAT）技术用于降低延迟。这些方法共同使我们的方法在实现领先性能的同时，显著节省能源：在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上分别节省了最高可达 70.1%、60.3% 和 43.1%。广泛的实验在 2D、3D、事件驱动分类任务、目标检测和分割任务中，都证明了该方法在各个领域的有效性。代码已公开：https://github.com/bic-L/burst-ann2snn。
关键词
引用
@article{arxiv.2412.16219,
title = {Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Network},
author = {Ziqing Wang and Yuetong Fang and Jiahang Cao and Hongwei Ren and Renjing Xu},
journal= {arXiv preprint arXiv:2412.16219},
year = {2024}
}