预测编码网络能量景观中的严格鞍点吗？

预测编码（PC）是一种基于能量的学习算法，通过迭代推断网络活动后再更新权重来执行。最近的工作表明，PC相对于反向传播具有更少的学习步骤优势，归功于其推断程序。然而，这些优势并不总是被观察到，PC推断对学习的影响也不太被理论上理解。本文研究了PC能量景观在网络活动平衡状态下的几何结构。对于深层线性网络，我们首先表明，平衡能量仅是一个权重相关比例缩放的均方误差损失。随后，我们证明了包括原点在内的许多高度退化（非严格）鞍点在平衡能量中变得更容易逃离（严格）。我们的理论通过线性和非线性网络上的实验得到验证。基于这些结果和其他结果，我们推测平衡能量的所有鞍点都是严格的。总体而言，这项工作表明PC推断使损失景观更良好，能够抵抗梯度消失，同时也突显了将PC扩展到更深模型的根本挑战。