基于粗路径理论的随机脉冲神经网络的精确梯度

我们引入了一个基于粗路径理论的数学严谨框架，将随机脉冲神经网络（stochastic spiking neural networks, SSNNs）建模为由事件离散点（event discontinuities）驱动的随机微分方程（Event SDEs），并以càdlàg 粗路径为驱动。我们的形式化足够通用，允许解轨迹和驱动噪声中都存在潜在跳跃。随后，我们识别了一组确保解轨迹和事件时间相对于网络参数具有路径梯度的充分条件，并展示了这些梯度满足递归关系。进一步，我们引入一个以càdlàg 粗路径上新构建的签名核类（signature kernels）定义的通用损失函数，用于训练SSNN作为生成模型。我们提供了一个端到端可自动求导的Event SDE求解器，并将其实现作为 $\texttt{diffrax}$ 库的一部分。我们的框架是我们所知的第一个使带有影响脉冲时间和网络动力学的噪声的SSNN能够进行梯度训练的框架。