脉冲神经网络中的跳跃连接：其对网络训练影响的分析
神经与进化计算
2023-03-27 v1 计算机视觉与模式识别
机器学习
摘要
脉冲神经网络（SNNs）因其潜在的能量效率以及建模生物系统中脉冲行为的能力，作为一种对传统人工神经网络（ANNs）有前景的替代方案而受到关注。然而，SNNs 的训练仍是一个具有挑战性的问题，需要新技术来提升其性能。在本文中，我们研究了跳跃连接对 SNNs 的影响，并提出了一种将 ANN 模型适配到 SNN 的超参数优化技术。我们证明，优化跳跃连接的位置、类型和数量，能够通过实现更快的收敛和增加网络中信息流，显著提升 SNNs 的准确率和效率。我们的结果显示，在 CIFAR-10-DVS 和 DVS128 Gesture 数据集上，对多个最先进模型进行适配时准确率平均提升 +8%。
引用
@article{arxiv.2303.13563,
title = {Skip Connections in Spiking Neural Networks: An Analysis of Their Effect on Network Training},
author = {Hadjer Benmeziane and Amine Ziad Ounnoughene and Imane Hamzaoui and Younes Bouhadjar},
journal= {arXiv preprint arXiv:2303.13563},
year = {2023}
}
备注
IPDPSW Scalable Deep Learning 2023