信号传播：一种在前向传播中学习与推断的框架
机器学习
2022-11-18 v2 神经与进化计算
神经元与认知
摘要
我们提出一种新的学习框架——信号传播（sigprop），通过前向传播传递学习信号并更新神经网络参数，作为反向传播的替代方案。在 sigprop 中，推断与学习均仅存在前向路径。因此，除推断模型本身外，无需为学习发生而设的结构或计算约束，例如基于反向传播的方法所要求的反馈连接、权重传输或反向传播。亦即，sigprop 仅借前向路径即可实现全局监督学习。这非常利于层或模块的并行训练。在生物学中，这解释了无反馈连接的神经元如何仍能接收全局学习信号。在硬件中，这提供了一种无反向连接的全局监督学习途径。sigprop 依其构造，比反向传播及放宽学习约束的替代方案更契合脑与硬件中的学习模型。我们还证明 sigprop 在时间与内存上比它们更高效。为进一步解释 sigprop 的行为，我们提供证据表明 sigprop 相对于反向传播提供了有用的学习信号。为进一步支撑其与生物及硬件学习的相关性，我们利用 sigprop 训练具 Hebbian 更新的连续时间神经网络，并以仅电压或具生物与硬件兼容替代函数训练脉冲神经网络。
引用
@article{arxiv.2204.01723,
title = {Signal Propagation: A Framework for Learning and Inference In a Forward Pass},
author = {Adam Kohan and Edward A. Rietman and Hava T. Siegelmann},
journal= {arXiv preprint arXiv:2204.01723},
year = {2022}
}