具有自顶向下反馈的前向学习：经验与分析刻画
机器学习
2024-03-25 v2
摘要
“仅前向”算法在训练神经网络时避免反向传播，近年来作为解决反向传播在生物学上不现实方面的问题而受到关注。本文中，我们首先解决与“仅前向”规则相关的引人关注的挑战，包括缩小与反向传播的性能差距，并为其动态提供分析性理解。为此，我们展示了具有自顶向下反馈的仅前向算法可由“自适应反馈对齐”算法很好地近似，并在原型高维设定下解析地追踪其学习过程中的性能。然后，我们比较了不同版本的仅前向算法，重点关注Forward-Forward和PEPITA框架，并表明它们共享相同的学习原理。总体而言，我们的工作揭示了三种关键受神经启发的学习规则之间的联系，在“仅前向”算法（即Forward-Forward和PEPITA）与反向传播的近似（即反馈对齐）之间提供了联系。
引用
@article{arxiv.2302.05440,
title = {Forward Learning with Top-Down Feedback: Empirical and Analytical Characterization},
author = {Ravi Srinivasan and Francesca Mignacco and Martino Sorbaro and Maria Refinetti and Avi Cooper and Gabriel Kreiman and Giorgia Dellaferrera},
journal= {arXiv preprint arXiv:2302.05440},
year = {2024}
}