超越反向传播：探索用于节能深度神经网络训练的创新算法

深度神经网络（DNN）不断增长的计算与能源需求（主要由反向传播（BP）驱动）对可持续AI发展构成了挑战。本文严格研究了三种无BP训练方法：Forward-Forward (FF)、Cascaded-Forward (CaFo)和Mono-Forward (MF)算法，追溯了它们从基础概念到卓越解决方案的发展过程。我们建立了一个稳健的比较框架：每种算法均在其原生架构上实现（FF和MF使用MLP，CaFo使用CNN），并与等效的BP训练模型进行基准测试。使用Optuna优化超参数，并基于验证性能应用一致的早停标准，确保所有模型在比较前均达到最优调优。结果表明，MF在其原生MLP上的分类准确率不仅能与BP竞争，而且持续超越BP。其卓越的泛化能力源于在验证损失景观中收敛到了一个更有利的极小值，这挑战了实现SOTA结果需要全局优化的假设。通过使用NVIDIA Management Library (NVML) API在硬件层面进行测量，MF将能耗降低了高达41%，并将训练时间缩短了高达34%，据CodeCarbon估计，这转化为可测量的更小碳足迹。除了这一主要结果外，我们还提出了一项硬件层面的分析来解释效率提升的原因：揭示了FF的架构低效性，验证了MF在计算上的精简设计，并挑战了所有无BP方法在本质上都更具内存效率的假设。通过记录从FF的概念基础到MF在准确率与可持续性之间综合的发展历程，这项工作为未来节能深度学习提供了一条清晰的、数据驱动的路线图。