论脉冲神经网络的固有结构
神经与进化计算
2023-11-17 v3 人工智能
机器学习
摘要
近年来，由于脉冲神经网络（SNN）在处理时间依赖和事件驱动数据方面展现出显著潜力，人们对其兴趣激增。与常规人工神经网络（ANN）类似，SNN 的性能不仅取决于选择恰当的架构和微调连接权重，还取决于对脉冲计算内部固有结构的精细配置。然而，目前缺乏考察固有结构影响的全面研究。因此，开发者常发现难以在不同数据集或任务间应用标准化的 SNN 配置。本工作深入探究 SNN 的固有结构。首先，通过阐明整合操作和发放-重置机制对 SNN 表达能力的影响，我们揭示了固有结构的两个关键组成部分：整合操作与发放-重置机制。此外，我们得出两个关键结论：膜时间超参数与整合操作的特征值密切相关，决定了脉冲动力学的函数拓扑；而发放-重置机制的各种超参数控制着 SNN 的整体发放能力，缓解了输入数据的注入比例或采样密度。这些发现阐明了为何 SNN 的功效严重依赖于固有结构的配置，并引出如下建议：增强这些结构的适应性有助于提升 SNN 的整体性能与适用性。受此认识的启发，我们提出两种可行方法来增强 SNN 学习：分别利用自连接架构和随机脉冲神经元，以增进整合操作与发放-重置机制的适应性。我们从理论与实践的角度验证了所提方法的有效性。
引用
@article{arxiv.2207.04876,
title = {On the Intrinsic Structures of Spiking Neural Networks},
author = {Shao-Qun Zhang and Jia-Yi Chen and Jin-Hui Wu and Gao Zhang and Huan Xiong and Bin Gu and Zhi-Hua Zhou},
journal= {arXiv preprint arXiv:2207.04876},
year = {2023}
}