理解平衡谐振-放电神经元的收敛性
神经与进化计算
2024-06-04 v1 机器学习
摘要
谐振-放电（RF）神经元是脉冲神经网络（SNN）中积分神经元的一个有趣的互补模型。由于其谐振膜动力学，它们可以提取时域内的频率模式。虽然已有的RF变体存在固有缺陷，但最近提出的平衡谐振-放电（BRF）神经元在任务性能、脉冲和参数效率以及整体稳定性和鲁棒性方面取得了显著的方法论进步，这一点已在各种序列学习任务中的循环SNN中得到验证。然而，最引人注目的结果之一是训练收敛速度和平滑度的巨大提升，克服了基于反向传播的SNN训练中典型的收敛困境。本文旨在进一步阐明这些收敛优势如何以及为何出现。我们表明，与成熟的ALIF神经元相比，BRF神经元跨越了一个非常干净且平滑——几乎是凸的——误差景观。此外，实证结果表明，收敛优势主要与发散边界感知优化相关，这是BRF公式中解决时间离散谐振器近似数值稳定性的一个主要组成部分。这些结果得到了膜动力学形式研究的支持，表明梯度在时间上反向传播时没有幅度损失。
引用
@article{arxiv.2406.00389,
title = {Understanding the Convergence in Balanced Resonate-and-Fire Neurons},
author = {Saya Higuchi and Sander M. Bohte and Sebastian Otte},
journal= {arXiv preprint arXiv:2406.00389},
year = {2024}
}