自编码器如何通过目标传播在深度网络中提供信用分配

我们提出利用{\em 重构}作为深度学习的层局部训练信号。重构可以以目标传播的形式进行传播，其作用类似于反向传播，但有助于减少对导数的依赖，从而在可能存在强非线性的多个层级间执行信用分配（这对反向传播而言是困难的）。正则化的自编码器倾向于产生比其输入更可能的重构版本，即向更高似然方向的小幅移动。通过推广梯度，目标传播还可能允许训练具有离散隐藏单元的深度网络。如果自编码器同时接收输入和目标的表示（或任何侧边信息的表示）作为输入，那么其对输入表示的重构提供了一个目标，指向在给定所有侧边信息条件下更可能的表示。深度自编码器的解码路径以学习到的方式推广了梯度传播，因此不仅能处理无穷小变化，还能处理较大的离散变化，有望实现通过长链非线性操作的信用分配。除了每一层都是一个良好的自编码器外，编码器还学习通过将数据变换到更易于上层建模的空间来取悦上层，从而展平流形并解耦因子。本文阐述了该方法的动机和理论依据，并提出了需要通过数学或实验验证的猜想，其中包括一个假设：这种由自编码器介导的目标传播可能在大脑中起到通过许多非线性、噪声和离散变换进行信用分配的作用。