自适应空间优度编码：推进与扩展无反向传播的 Forward-Forward 学习
机器学习
2026-01-26 v2
摘要
Forward-Forward (FF) 算法为反向传播 (BP) 提供了一种极具前景的替代方案。尽管近期基于 FF 的扩展增强了原始算法并使其适应卷积神经网络 (CNN)，但它们通常受限于有限的表示能力，且对大规模数据集的可扩展性较差，这主要是由于通道维度爆炸。在这项工作中，我们提出了自适应空间优度编码 (ASGE)，一种专为 CNN 定制的新的基于 FF 的训练框架。ASGE 利用特征图在每层计算具有空间感知的优度表示，从而实现逐层监督。至关重要的是，该方法将分类复杂度与通道维度解耦，从而解决了通道爆炸问题，并取得了与其他 BP 替代方案相媲美的性能。ASGE 在多个基准测试上优于所有其他基于 FF 的方法，在 MNIST 上达到 99.65% 的测试准确率，在 FashionMNIST 上为 93.41%，在 CIFAR-10 上为 90.62%，在 CIFAR-100 上为 65.42%。此外，我们展示了基于 FF 的训练在 ImageNet 上的首次成功应用，Top-1 和 Top-5 准确率分别为 51.58% 和 75.23%。进一步地，我们提出了三种预测策略，以在准确率、参数和内存使用之间实现灵活的权衡，从而能够在多样化的资源约束下进行部署。
引用
@article{arxiv.2509.12394,
title = {Adaptive Spatial Goodness Encoding: Advancing and Scaling Forward-Forward Learning Without Backpropagation},
author = {Qingchun Gong and Robert Bogdan Staszewski and Kai Xu},
journal= {arXiv preprint arXiv:2509.12394},
year = {2026}
}
备注
Accepted by 2026 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP2026)