面向深度神经网络的预测编码扩展：理论与实践

反向传播（Backpropagation, BP）是训练驱动现代人工智能系统，包括大型语言模型的深度神经网络的标准算法。然而，BP 能源效率低，可能无法在大脑中实现。本论文研究一种替代方法，即称为预测编码（predictive coding, PC）的更高效、受大脑启发的算法。不同于 BP，PC 网络（PCNs）在学习或权重更新之前通过神经元活动的迭代均衡进行推断。最近的研究表明，这种迭代推断过程相对于 BP 提供了一系列优势，如更快的训练速度。然而，这些优势并未得到一致观察，PCNs 的推断和学习动力学仍然 poorly 理解，且深度 PCNs 实际上难以训练。本文通过采用基于优化理论的理论方法，为扩展 PCNs 的规模取得了显著进展。首先，我们表明 PC 的学习动力学可被视为一种使用二阶信息的近似信任域方法，尽管它仅使用一阶局部更新。其次，超越这种近似，我们表明 PC 本质上可以利用任意更高阶的信息，使得对于前馈网络，PC 学习的有效 landscapes 远比（均方误差）损失 landscapes 更良好且对消失梯度更鲁棒。最后，受推断动力学研究的启发，我们提出了一种新的参数化方法称为“μPC”，首次允许在少量调参的情况下稳定训练 100 多层网络，并在简单任务上实现与 BP 相当的性能。总体而言，本论文显著推进了我们对 PCNs 推断和学习动力学的基本理解，同时凸显了如果 PC 要在规模上与 BP 竞争，仍需关注硬件协同设计的必要性。