可扩展的前向-前向算法
机器学习
2025-01-07 v1 神经与进化计算
摘要
我们提出一种可扩展的前向-前向（Forward-Forward, FF）算法，通过单独训练每一层来消除反向传播的需求。与反向传播不同，FF避免反向梯度，可更模块化且更节省内存，尤其适用于大型网络。我们将FF扩展到现代卷积架构（如MobileNetV3和ResNet18），通过引入一种新的方式计算卷积层的损失。实验表明，我们的方法在准确率上与标准反向传播相当。此外，当我们将网络划分为若干模块（如ResNet的残差模块），仅在模块内部应用反向传播，而非跨模块传播，我们的混合设计倾向于超越反向传播基准，同时保持相似的训练速度。最后，我们在小数据集和迁移学习实验中表明该方法具有良好的适应性。
引用
@article{arxiv.2501.03176,
title = {Scalable Forward-Forward Algorithm},
author = {Andrii Krutsylo},
journal= {arXiv preprint arXiv:2501.03176},
year = {2025}
}