递归脉冲神经网络异质学习动态的拓扑表征
神经与进化计算
2024-03-20 v1 人工智能
摘要
脉冲神经网络（Spiking Neural Networks, SNNs）已成为神经科学与人工智能中提供类脑计算的重要范式。近期文献进展已研究了深度神经网络的网络表征，但鲜有工作探究SNN所学得的表征，尤其是采用脉冲时序依赖可塑性（spike-timing dependent plasticity, STDP）等无监督局部学习方法的情形。Barannikov等人（2021）近期工作引入了一种比较所学表征拓扑映射的新方法，称为表征拓扑散度（Representation Topology Divergence, RTD）。该方法虽有用，但专为前馈深度神经网络设计，无法用于递归SNN（Recurrent SNNs, RSNNs）等递归网络。本文引入一种新颖方法，利用RTD衡量不同学习方法下RSNN模型分布式表征间的差异。我们提出一种使用带跳跃连接的前馈自编码器网络重新构建RSNN的新方案，以帮助计算递归网络的RTD。由此，我们探究了使用STDP训练的RSNN的学习能力，以及突触动力学异质性在学习此类表征中的作用。我们证明，RSNN中的异质STDP能产生与其同质及基于替代梯度的监督学习对应方法截然不同的表征。我们的结果揭示了异质SNN模型的潜力，有助于开发更高效且更具生物合理性的混合人工智能系统。
引用
@article{arxiv.2403.12462,
title = {Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks},
author = {Biswadeep Chakraborty and Saibal Mukhopadhyay},
journal= {arXiv preprint arXiv:2403.12462},
year = {2024}
}
备注
Accepted in IEEE World Congress on Computational Intelligence (IEEE WCCI) 2024