基于 Hebbian 学习的正交投影用于脉冲神经网络的持续学习

基于脉冲神经网络的神经形态计算有望用于节能的人工智能（AI）应用。然而，与人类在一生中持续学习不同任务不同，神经网络模型遭受灾难性遗忘的困扰。神经元操作如何解决这个问题是 AI 和神经科学的一个重要问题。许多先前的研究从观察到的神经科学现象中汲取灵感，提出了情景回放或突触可塑性，但它们不能保证明确地保留神经元群体的知识。其他工作专注于具有更多数学基础的机器学习方法，例如高维空间上的正交投影，但对于神经形态计算没有神经对应物。在这项工作中，我们开发了一种基于侧向连接和 Hebbian 学习的具有神经元操作的新方法，该方法通过将神经元的活动轨迹投影到正交子空间来保护知识，从而使突触权重更新不会干扰旧任务。我们表明，往复侧向连接上的 Hebbian 和反 Hebbian 学习可以有效地提取神经活动的主子空间并实现正交投影。这为神经回路和 Hebbian 学习如何帮助持续学习，以及正交投影的概念如何在神经元系统中实现提供了新的见解。我们的方法还可以灵活地利用基于突触前活动/轨迹的任意训练方法。实验表明，我们的方法在各种具有不同误差传播方法的监督训练方法下， consistently 解决了脉冲神经网络的遗忘问题，实现了几乎零遗忘，并且在各种设置下优于先前的方法。我们的方法可以为构建持续神经形态计算系统铺平道路。