通过信息瓶颈在脉冲神经网络中学习时间解码
神经与进化计算
2021-09-30 v2 人工智能
信息论
math.IT
摘要
训练脉冲神经网络（SNNs）的关键挑战之一是，目标输出通常以自然信号的形式出现，例如用于分类的标签或用于生成模型的图片，并且需要被编码为脉冲。这通过手工设计目标脉冲信号来完成，而这又隐式地固定了将脉冲解码为自然信号所使用的机制，例如速率解码。目标信号和解码规则的任意选择通常会损害 SNN 利用脉冲时序编码和处理信息的能力。为解决此问题，本工作引入了一种混合变分自编码器架构，由一个编码 SNN 和一个解码人工神经网络（ANN）组成。解码 ANN 的作用是学习如何最好地将 SNN 输出的脉冲信号转换为目标自然信号。我们引入了一种新颖的端到端学习规则，通过替代梯度优化有向信息瓶颈训练准则。我们在包括真实数据集在内的多种任务的实验设置中展示了该技术的适用性。
引用
@article{arxiv.2106.01177,
title = {Learning to Time-Decode in Spiking Neural Networks Through the Information Bottleneck},
author = {Nicolas Skatchkovsky and Osvaldo Simeone and Hyeryung Jang},
journal= {arXiv preprint arXiv:2106.01177},
year = {2021}
}
备注
Accepted at NeuRIPS 2021