通过解决脉冲神经网络中的退化难题推进深度残差学习
神经与进化计算
2022-02-18 v2 人工智能
摘要
尽管神经形态计算进展迅速，但脉冲神经网络（SNNs）深度不足及由此导致的表征能力不充分严重限制了其实际应用范围。残差学习与捷径已被证明是训练深度神经网络的重要方法，但以往工作很少评估它们对基于脉冲的通信和时空动态特性的适用性。这种疏忽导致信息流受阻并伴随退化问题。本文中，我们指出了这一关键症结，并提出了一种用于 SNNs 的新型残差块，它能够显著扩展直接训练的 SNNs 的深度，例如在 CIFAR-10 上可达 482 层、在 ImageNet 上可达 104 层，且未观察到任何轻微退化问题。我们在基于帧的数据集和神经形态数据集上验证了方法的有效性，我们的 SRM-ResNet104 在 ImageNet 上取得了 76.02% 的优越准确率，这是直接训练 SNNs 领域的首次。我们估算了其极高的能量效率，所得网络对单个输入样本分类平均仅需每个神经元一个脉冲。我们相信我们强大且可扩展的建模将为 SNNs 的进一步探索提供有力支持。
引用
@article{arxiv.2201.07209,
title = {Advancing Deep Residual Learning by Solving the Crux of Degradation in Spiking Neural Networks},
author = {Yifan Hu and Yujie Wu and Lei Deng and Guoqi Li},
journal= {arXiv preprint arXiv:2201.07209},
year = {2022}
}
备注
It is an older version of arXiv:2112.08954 and was submitted by mistake