预测编码、精度与自然梯度

在具有局部更新规则的推断与学习的生物学合理计算模型，和机器学习中采用的基于全局梯度的神经网络模型优化之间，正出现日益增多的趋同。一个尤其令人兴奋的联系是，预测编码网络中基于局部信息的优化与用于训练最先进深度人工神经网络的反向传播算法之间的对应。在此我们关注预测编码网络中的精度加权与深度神经网络的自然梯度下降（Natural Gradient Descent）算法之间相关但仍很大程度上未被充分探索的联系。精度加权的预测编码由于其优化过程的分布式特性以及对自然梯度下降核心的自适应学习率——Fisher信息度量的底层局部近似，而成为扩展不确定性感知优化的一个有前景的候选方案——尤其适用于具有大参数空间的模型。在此，我们表明，具有可学习精度的层次化预测编码网络确实能够解决各种有监督与无监督学习任务，性能可与带自然梯度的全局反向传播相媲美，并在数据或标签输入中嵌入大量噪声的任务上超越其经典梯度下降对应方法。当应用于图像输入的无监督自编码时，该确定性网络产生层次化组织且解耦的嵌入，暗示了预测编码与层次化变分推断之间的紧密联系。