前向目标传播：一种通过局部损失进行全局误差分配的纯前向方法
机器学习
2025-06-16 v1 人工智能
摘要
训练神经网络传统上依赖于反向传播，这是一种基于梯度的算法，尽管取得了广泛成功，但在生物学和硬件角度都存在关键局限性。这些局限性包括通过对称权重进行反向误差传播、非局部的信用分配以及反向传播过程中活动的冻结。我们提出了前向目标传播，这是一种生物学上合理且计算高效的替代方案，它用第二次前向传播取代了反向传播。FTP 仅使用前馈计算来估计逐层目标，消除了对对称反馈权重或可学习逆函数的需求，从而实现了模块化和局部学习。我们在全连接网络、CNN 和 RNN 上评估了 FTP，证明其在 MNIST、CIFAR10 和 CIFAR100 上的准确率与 BP 相当，并且在序列任务中能有效建模长期依赖关系。此外，FTP 在量化低精度和新兴硬件约束下优于 BP，同时与其他生物学启发方法（如目标传播变体和纯前向学习算法）相比，也展示出显著的效率提升。凭借其极小的计算开销、纯前向特性和硬件兼容性，FTP 为节能的端侧学习和神经形态计算提供了一个有前景的方向。
引用
@article{arxiv.2506.11030,
title = {Forward Target Propagation: A Forward-Only Approach to Global Error Credit Assignment via Local Losses},
author = {Nazmus Saadat As-Saquib and A N M Nafiz Abeer and Hung-Ta Chien and Byung-Jun Yoon and Suhas Kumar and Su-in Yi},
journal= {arXiv preprint arXiv:2506.11030},
year = {2025}
}