用于脉冲神经网络的膜电位批归一化
计算机视觉与模式识别
2023-08-17 v1
摘要
作为传统神经网络（CNNs）的节能替代方案之一，脉冲神经网络（SNNs）近期受到越来越多的关注。为训练深度模型，SNN中提出了一些有效的批归一化（BN）技术。所有这些BN均建议如CNN中通常做法般用于卷积层之后。然而，脉冲神经元具有更为复杂的时空动力学。BN层之后受调节的数据流会在发放函数（即非线性激活）之前的膜电位更新操作下再次受到扰动。因此，我们主张在发放函数之前添加另一BN层以再次归一化膜电位，称为MPBN。为消除MPBN带来的时间开销，我们还提出了一种训练-推理解耦的重参数化技术，将训练好的MPBN折叠进发放阈值中。借助该重参数化技术，MPBN在推理阶段不会引入任何额外时间负担。此外，MPBN也可采用逐元素形式，而这些卷积层后的BN只能使用通道级形式。实验结果表明，所提MPBN在流行的非脉冲静态数据集与神经形态数据集上均表现良好。我们的代码已开源至\href{https://github.com/yfguo91/MPBN}{MPBN}。
引用
@article{arxiv.2308.08359,
title = {Membrane Potential Batch Normalization for Spiking Neural Networks},
author = {Yufei Guo and Yuhan Zhang and Yuanpei Chen and Weihang Peng and Xiaode Liu and Liwen Zhang and Xuhui Huang and Zhe Ma},
journal= {arXiv preprint arXiv:2308.08359},
year = {2023}
}
备注
Accepted by ICCV2023