因果块：逐块分析与改进脉冲神经网络
神经与进化计算
2025-04-22 v1 人工智能
机器学习
神经元与认知
机器学习
摘要
我们引入了一种新概念，用于脉冲神经网络（SNN），该概念源自用于分析人工神经网络（ANN）表达性和可训练性的“线性块”的思想。我们证明了SNN的输入域分解为离散的因果区域，其中其输出脉冲时间相对于输入脉冲时间和网络参数具有局部Lipschitz连续性。这些区域的数量——我们称为“因果块”——是SNN逼近能力的度量。特别是，我们在仿真中演示了初始参数导致训练集上大量因果块的初始化强烈与SNN训练成功高度相关。此外，我们发现，仅具有正权重的前馈SNN exhibits出奇迹性的高因果块数量，使其能够在基准任务上实现具有竞争力的性能。我们相信，因果块不仅是改进SNN的强大且原则化工具，还可能为未来比较SNN和ANN提供新的方法。
关键词
引用
@article{arxiv.2504.14015,
title = {Causal pieces: analysing and improving spiking neural networks piece by piece},
author = {Dominik Dold and Philipp Christian Petersen},
journal= {arXiv preprint arXiv:2504.14015},
year = {2025}
}