前馈贡献替代反向传播

深度学习在多个领域的卓越表现源于误差反向传播（BP）的使用。然而，若干研究表明，真实大脑中不可能执行 BP。此外，BP 仍是内存占用与速度方面一个重要且未解决的瓶颈。我们提出了一种简单新颖的算法——前馈贡献算法（Front-Contribution algorithm），作为 BP 的紧凑替代方案。所有权重相对于最终层权重的贡献在训练开始前计算，且所有贡献被附加到最终层权重上，即有效的最终层权重是其自身的非线性函数。我们的算法本质上折叠了网络，免除了对非最终层所有权重进行更新的必要。这种参数缩减带来了更低的内存占用与更高的训练速度。我们表明，与若干近期提出的近似 BP 的算法不同，我们的算法产生与 BP 完全相同的输出。我们的初步实验证明了所提算法的有效性。我们的工作为有效利用这些目前未被充分探索的“前馈贡献”奠定了基础，并旨在启发下一代训练算法。