UltraLIF：通过超离散化和Max-Plus代数实现全可微脉冲神经网络

脉冲神经网络（SNN）提供了节能且生物上合理的计算，但受限于不可微的脉冲生成，不得不依赖启发式的替代梯度。本文介绍了UltraLIF，一个基于原理的框架，用超离散化（一种来自热带几何的数学形式，提供离散动力学的连续松弛）替代替代梯度。核心见解在于，超离散化基础的max-plus半环自然地建模了神经阈值动力学：log-sum-exp函数作为一个可微的软最大值，随着可学习温度参数$\eps \to 0$收敛到硬阈值。从不同的动力系统推导出两种神经元模型：UltraLIF来自LIF常微分方程（时间动力学），UltraDLIF来自模拟跨神经元群体间隙连接耦合的扩散方程（空间动力学）。两者都产生全可微的SNN，可通过标准反向传播训练，不存在前向-后向不匹配。理论分析建立了向经典LIF动力学的逐点收敛，具有定量误差界和有界非消失梯度。在涵盖静态图像、神经形态视觉和音频的六个基准上的实验表明，相对于替代梯度基线有改进，在神经形态和时间数据集上的单时间步（$T{=}1$）设置中增益最为显著。可选的稀疏性惩罚能够在保持竞争性精度的同时实现显著的能耗降低。