VOWEL：概率性脉冲胜者通吃电路递归网络的局部在线学习规则
机器学习
2020-04-21 v1 神经与进化计算
信号处理
机器学习
摘要
脉冲神经元网络与胜者通吃脉冲电路（WTA-SNNs）能够检测编码于时空多值事件中的信息。这类事件由感兴趣事件（例如点击）的时序以及赋予每个事件的类别数值（例如喜欢或不喜欢）描述。其他用例包括来自神经形态相机数据的目标识别，后者为每个像素在亮度变化足够大时产生有符号位。现有的WTA-SNNs训练方案局限于速率编码方案，因此只能检测空间模式。为任意WTA-SNNs开发更通用的训练算法继承了训练（二值）脉冲神经网络（SNNs）的挑战。这些挑战尤为显著地在于阈值函数的不可微性、脉冲神经模型的递归行为，以及神经形态硬件中反向传播实现的困难。本文中，我们为WTA-SNNs开发了一种变分在线局部训练规则，称为VOWEL，其对可见电路仅利用局部突触前与突触后信息，对隐藏电路额外利用一个公共奖励信号。该方法基于概率广义线性神经模型、控制变量与变分正则化。在带有多值事件的真实世界神经形态数据集上的实验结果表明，WTA-SNNs优于采用前沿方法训练的传统二值SNNs，尤其在计算资源有限的情况下。
引用
@article{arxiv.2004.09416,
title = {VOWEL: A Local Online Learning Rule for Recurrent Networks of Probabilistic Spiking Winner-Take-All Circuits},
author = {Hyeryung Jang and Nicolas Skatchkovsky and Osvaldo Simeone},
journal= {arXiv preprint arXiv:2004.09416},
year = {2020}
}
备注
14 pages, submitted for possible conference publication