预测编码沿任意计算图逼近反向传播

误差反向传播（backprop）是一种通过端到端微分训练机器学习架构的强大算法。然而，backprop常因缺乏生物学合理性而受到批评。最近研究表明，多层感知机（MLPs）中的backprop可使用预测编码来逼近，预测编码是一种仅依赖局部和Hebbian更新的、具有生物学合理性的皮层计算过程理论。然而，backprop的强大之处不在于其在MLPs中的实例化，而在于自动微分的概念，该概念允许对任意表示为计算图的可微分程序进行优化。在此，我们证明预测编码仅使用局部学习规则即可在任意计算图上渐近（且实践中快速）收敛到精确的backprop梯度。我们应用该结果开发了一种将核心机器学习架构转换为其预测编码等价物的直接策略。我们构建了预测编码CNNs、RNNs以及更复杂的LSTMs，后者包含非层状的branch内部图结构和乘法交互。我们的模型在具有挑战性的机器学习基准上与backprop表现相当，同时仅利用局部且（大部分）Hebbian可塑性。我们的方法提升了标准机器学习算法原则上可直接在神经电路中实现的可能性，并可能有助于完全分布式神经形态架构的发展。