阐明脉冲神经网络中替代梯度学习的理论基础

训练脉冲神经网络逼近通用函数对于研究大脑信息处理和神经形态计算至关重要。然而脉冲的二元性对基于梯度的直接训练构成了挑战。替代梯度在经验上成功规避了这一问题，但其理论基础仍不明确。本文研究了替代梯度与两种理论完善方法的关系。一方面，我们考虑平滑概率模型，由于缺乏对自动微分的支持，该模型不适用于训练多层脉冲神经网络，但为单个神经元提供了与替代梯度等价的导数。另一方面，我们研究随机自动微分，它与离散随机性兼容，但尚未用于训练脉冲神经网络。我们发现后者为随机脉冲神经网络中的替代梯度提供了理论基础，其中替代导数与神经元逃逸噪声函数的导数相匹配。这一发现支持了替代梯度在实践中的有效性，并表明其适用于随机脉冲神经网络。然而，尽管替代梯度与随机自动微分有关，但它们通常不是替代损失的梯度。尽管如此，我们通过实验证实了替代梯度在随机多层脉冲神经网络中的有效性，并讨论了它们与确定性网络的关系作为特例。我们的工作为替代梯度以及随机脉冲神经网络中合适替代导数的选择提供了理论支持。