NoProp：无需完整反向传播或完整正向传播的神经网络训练

规范的学习深度学习方法要求在每个模块处计算梯度项，方法是将误差信号从输出反向传播至每个可学习参数。鉴于神经网络的堆叠结构，其中每个模块建立在下方模块的表示之上，这种方法产生了层次化表示。更抽象的特征位于模型的顶部模块，而较低模块的特征预期不那么抽象。与此相反，我们引入了一种名为 NoProp 的新学习方法，它不依赖于整个网络上的正向或反向传播。相反，NoProp 从扩散和流匹配方法中汲取灵感，其中每个模块独立地学习仅使用局部目标和模块内部的反向传播来对含噪目标进行去噪。我们相信这项工作迈出了引入不学习层次化表示（至少不是通常意义上的）的新学习方法家族的第一步。NoProp 需要事先将每个模块的表示固定为目标的加噪版本，学习一个局部去噪过程，随后可在推理时加以利用。我们在 MNIST、CIFAR-10 和 CIFAR-100 图像分类基准上证明了我们方法的有效性。我们的结果表明，NoProp 是一种可行的学习算法，易于使用且计算高效。通过摒弃需要反向传播全局误差信号的传统学习范式，NoProp 改变了网络内信用分配的方式，实现了更高效的分布式学习，并可能影响学习过程的其他特性。