Mono-Forward：通过目标局部性分解重访前向-前向
机器学习
2026-05-08 v2
摘要
反向传播仍是训练深度神经网络的主导算法，但它造成巨大的内存开销，依赖全局误差传播，这常被视为生物学上不可信。前向-前向 (Forward-Forward, FF) 算法是一种令人期待的局部学习反向传播替代方案，但仍落后于反向传播。在准确性方面，FF的性能限制是否源于其局部性或源于用于训练每个层的正负双遍优良目标，仍是悬而未决的问题。本文通过一种分解机制重新审视FF，在监督设置下将这两种设计选择分离。我们的分析表明，FF的性能限制不仅仅是由于局部性导致的，也可能受其优良目标的影响。针对这一观点，本文引入Mono-Forward (MF)，是FF的一个简化版本，保留其局部性，同时将对比性优良目标替换为应用于每个层的标准多类交叉熵目标，作为在标准分类目标下评估局部学习的受控基线。我们在MLP和卷积网络上进行测试，MF在vanilla FF以及多种FF变体中均表现更好。在MLP-Mixer上，MF在PathMNIST上的结果优于反向传播，仅需反向传播的31%的内存。
引用
@article{arxiv.2501.09238,
title = {Mono-Forward: Revisiting Forward-Forward through Objective-Locality Decomposition},
author = {James Gong and Bruce Li and Waleed Abdulla},
journal= {arXiv preprint arXiv:2501.09238},
year = {2026}
}
备注
26 pages