面向任意深度的正交神经网络的前向学习
机器学习
2025-12-25 v1 人工智能
摘要
反向传播仍是当今训练神经网络的事实标准算法。随着近期架构的指数级增长，该算法的计算成本也日益成为负担。最近的PEPITA和前向学习框架提出了有前景的替代方案，但它们未能扩展到仅含少数隐藏层，限制了其应用。本文首先从理论上分析了这些方法的主要局限性。这使我们能够设计一种等效于反向传播的前向学习算法，在线性和正交假设下成立。随后通过放宽线性假设，我们引入了FOTON（Forward-Only Training of Orthogonal Networks），弥合了与反向传播算法之间的差距。实验结果表明，它超越了PEPITA，使我们能够训练任意深度的神经网络，而无需反向传播。此外，其在卷积网络上的性能明显为其应用于更高级的架构开辟了道路。代码已开源于https://github.com/p0lcAi/FOTON。
引用
@article{arxiv.2512.20668,
title = {Forward Only Learning for Orthogonal Neural Networks of any Depth},
author = {Paul Caillon and Alex Colagrande and Erwan Fagnou and Blaise Delattre and Alexandre Allauzen},
journal= {arXiv preprint arXiv:2512.20668},
year = {2025}
}