通过局部神经调质实现任意时长下具生物学合理性的反向传播

通过基于反向传播的梯度下降调整关键参数的循环神经网络模型取得了惊人成功，这激发了许多关于生物神经元网络如何解决相应突触信用分配问题的思考。然而，鉴于生物突触网络信号传导架构的广泛公认约束，关于生物网络如何能实现必要的随时间反向传播，迄今鲜有共识。在此，我们提出，局部神经调质（如神经肽）的突触外扩散可能提供一种落在生物学合理性边界内的有效反向传播模式。超越现有的基于时间截断的梯度近似，我们基于近似梯度的更新规则 ModProp 通过任意时间步传播信用信息。ModProp 表明，调制信号可通过以因果的、时不变且与突触类型特定的滤波器抽头对接收细胞的资格迹进行卷积来发挥作用。我们对 ModProp 学习的数学分析，连同在基准时序任务上的仿真结果，展示了 ModProp 相对于现有具生物学合理性的时序信用分配规则的优势。这些结果表明了一种潜在的神经元机制，用于传递与更长时域内循环交互相关的信用信息。最后，我们推导了 ModProp 的计算机内实现，可作为随时间反向传播的一种低复杂度且因果的替代方案。