向大规模脉冲神经网络迈进：综合调查与未来方向
机器学习
2024-09-05 v1
摘要
深度学习已彻底革新了人工智能（AI），在计算机视觉、语音识别和自然语言处理等领域取得了显著进展。此外，近期大型语言模型（LLM）的成功燃起了关于大规模神经网络研究的浪潮。然而，日益增长的计算资源需求和能源消耗促使人们寻找更高效的替代方案。受人类大脑启发，脉冲神经网络（SNN）以事件驱动的脉冲实现能效计算。为了为构建高效的大规模SNN模型指明未来方向，我们综述了现有方法用于开发深度脉冲神经网络的研究，重点关注新兴的脉冲变换器。我们的主要贡献包括：（1）对深度脉冲神经网络学习方法的概述，按基于ANN到SNN转换和基于代理梯度的直接训练进行分类；（2）对深度脉冲神经网络网络架构的概述，按深度卷积神经网络（DCNN）和变换器架构进行分类；（3）对最新深度SNN的全面比较，重点关注新兴的脉冲变换器。我们进一步讨论并概述了向大规模SNN发展的未来方向。
引用
@article{arxiv.2409.02111,
title = {Toward Large-scale Spiking Neural Networks: A Comprehensive Survey and Future Directions},
author = {Yangfan Hu and Qian Zheng and Guoqi Li and Huajin Tang and Gang Pan},
journal= {arXiv preprint arXiv:2409.02111},
year = {2024}
}