一种可微分点过程及其在脉冲神经网络中的应用
神经与进化计算
2021-06-04 v2 机器学习
机器学习
摘要
本文关注脉冲神经网络（SNNs）概率模型的学习算法。Jimenez Rezende & Gerstner（2014）提出了一种随机变分推断算法来训练带隐藏神经元的 SNNs。该算法使用得分函数梯度估计器更新变分分布，其高方差常阻碍整个学习算法。本文提出一种基于路径wise梯度估计器的 SNNs 替代梯度估计器。主要技术难点是缺乏区分任意点过程实现的一般方法，而这是推导路径wise梯度估计器所必需的。我们开发了可微分点过程，这是本文的技术亮点，并将其应用于推导 SNNs 的路径wise梯度估计器。我们通过数值仿真考察了我们梯度估计器的有效性。
引用
@article{arxiv.2106.00901,
title = {A Differentiable Point Process with Its Application to Spiking Neural Networks},
author = {Hiroshi Kajino},
journal= {arXiv preprint arXiv:2106.00901},
year = {2021}
}
备注
Accepted to ICML 2021