无反向传播的能效深入学习：正向-only算法的严格评估
机器学习
2025-11-04 v1 人工智能
摘要
长期以来，认为反向传播（backpropagation, BP）是实现最佳性能的必不可少因素的假设，被本工作所挑战。我们提供了严格的、经过硬件验证的证据，表明Mono-Forward（MF）算法——一种无需反向传播的方法——在其针对性Multi层感知器（MLP）架构上，始终优于经过最佳调优的BP基线在分类准确度上的表现。这种在 generalization（推广）方面的优势，是通过显著的效率提升实现的，包括最高可达41%的能源消耗减少和最高可达34%的训练加速。我们的分析，以从Geoffrey Hinton的Forward-Forward（FF）到Cascaded Forward（CaFo），最终到MF的演进路径为基础，基于公平的比较框架，使用相同的架构和通用的超参数优化。我们进一步对BP-free方法的内存效率进行了关键性的重新评估，经验性地表明实际开销可能抵消理论收益。最终，本工作确立了MF作为MLP的实用、高性能和可持续的BP替代方案。
引用
@article{arxiv.2511.01061,
title = {Energy-Efficient Deep Learning Without Backpropagation: A Rigorous Evaluation of Forward-Only Algorithms},
author = {Przemysław Spyra and Witold Dzwinel},
journal= {arXiv preprint arXiv:2511.01061},
year = {2025}
}