迈向理解泄漏在脉冲神经网络中的效应
神经与进化计算
2020-06-17 v1 计算机视觉与模式识别
机器学习
机器学习
摘要
脉冲神经网络(SNNs)正被探索用以模拟人脑的惊人能力:其能以噪声脉冲活动鲁棒而高效地学习与计算功能。已有多种脉冲神经元模型被提出以近似生物神经元功能。具有不同生物保真度水平的这些模型常在其内部状态(称为膜电位)中包含一条泄漏路径。尽管泄漏模型被认为更具生物合理性,但从纯计算视角对含泄漏与无泄漏模型进行比较分析值得关注。在本文中,我们研究关于泄漏合理性及使用泄漏行为利弊的问题。实验结果表明,与无泄漏模型相比,泄漏神经元模型提供了改进的鲁棒性与更好的泛化能力。然而,与通常观念相反,泄漏降低了计算的稀疏性。通过频域分析,我们展示了泄漏消除输入中高频分量的效应,从而使SNNs对噪声脉冲输入更具鲁棒性。
引用
@article{arxiv.2006.08761,
title = {Towards Understanding the Effect of Leak in Spiking Neural Networks},
author = {Sayeed Shafayet Chowdhury and Chankyu Lee and Kaushik Roy},
journal= {arXiv preprint arXiv:2006.08761},
year = {2020}
}
备注
Sayeed Shafayet Chowdhury and Chankyu Lee contributed equally