论脉冲神经网络的算法能力

脉冲神经网络 (SNN) 是神经科学中的数学模型，用于描述一组通过发射瞬时信号（即脉冲）相互作用的神经元之间的动力学。有趣的是，神经科学领域的一项最新进展 [Barrett-Denève-Machens, NIPS 2013] 表明，神经元的发射率，即单位时间内发射脉冲的平均数量，可以由动力学参数定义的二次规划的最优解来刻画。这表明 SNN 具有解决非平凡二次规划的计算能力。然而，该结果仅通过经验验证，缺乏严格分析。我们将其置于自然算法的背景下，旨在研究 SNN 的算法能力。特别是，我们强调对 SNN 在解决优化问题时的性能给出严格的渐近分析。为了开展理论研究，我们首先确定了一个易于分析的简化 SNN 模型。接着，我们通过给出 SNN 求解二次规划收敛率的上界，证实了 Barrett 等人工作中的经验观察。进一步，我们观察到在存在无穷多最优解的情况下，SNN 倾向于收敛到具有较小 $l_1$ 范数的解。我们通过证明在一定的正则条件下 SNN 能够求解 $l_1$ 最小化问题，对我们的发现给出了肯定回答。我们的核心技术洞察是 SNN 动力学的对偶视角，在该视角下 SNN 可被视为求解 $l_1$ 最小化问题的一种新的自然原始-对偶算法。我们相信该对偶视角具有独立的意义，并可能在神经科学中找到有趣的解释。