预测编码网络的紧致稳定性、收敛性与鲁棒性界限

能量基学习算法，如预测编码（PC），因其局部操作和生物学上可解释的误差校正机制，在机器学习社区中引起了广泛关注。本文通过动力系统理论对PC的稳定性、鲁棒性和收敛性进行严格分析。我们表明，首先，在其损失函数和残差能量函数满足一定温和假设后，PC在Lyapunov意义下是稳定的，从而其基于能量最小化动力学的特性使其对小随机扰动天然具备鲁棒性。其次，我们正式建立了PC更新近似拟牛顿方法的理论依据，通过融合高阶曲率信息，使其在收敛速度和稳定性方面优于通过反向传播（BP）训练的模型。进一步地，基于这一动力学框架，我们通过精确刻画高阶导数的作用，提供了PC与其他算法（即BP和目标传播TP）之间相似性的新理论界限。这些通过详细分析Hessian结构推导的界限表明，PC与拟牛顿更新之间的相似度显著高于TP，深化了对PC在稳定性和效率方面相对于传统学习方法的理解。