分布式深度学习中的 Forward-Forward 算法探索
机器学习
2024-05-10 v2 分布式、并行与集群计算
摘要
我们引入了一种分布式深度学习的新方法，利用 Geoffrey Hinton 的 Forward-Forward (FF) 算法来加速分布式计算环境中神经网络的训练。与依赖前向和反向传播的传统方法不同，FF 算法采用双前向传播策略，显著偏离了传统的反向传播过程。这种新颖的方法更贴近人类大脑的处理机制，可能为神经网络训练提供一种更高效且生物学上更合理的途径。我们的研究探索了 FF 算法在分布式环境中的不同实现，以探索其并行化能力。虽然原始 FF 算法侧重于其匹配反向传播算法性能的能力，但并行化旨在减少训练时间和资源消耗，从而解决深度神经网络训练相关的漫长训练时间问题。我们的评估表明，在使用四个计算节点训练四层网络时，在 MNIST 数据集上实现了 3.75 倍的加速，且未降低准确率。将 FF 算法集成到分布式深度学习中代表了该领域向前迈出的重要一步，可能会彻底改变分布式环境中神经网络的训练方式。
引用
@article{arxiv.2404.08573,
title = {Going Forward-Forward in Distributed Deep Learning},
author = {Ege Aktemur and Ege Zorlutuna and Kaan Bilgili and Tacettin Emre Bok and Berrin Yanikoglu and Suha Orhun Mutluergil},
journal= {arXiv preprint arXiv:2404.08573},
year = {2024}
}