无反馈学习：固定随机学习信号实现深度神经网络的前馈训练
机器学习
2021-01-19 v2 机器学习
神经与进化计算
摘要
尽管误差反向传播算法能够实现深度神经网络的训练，但它意味着（i）双向突触权重传输以及（ii）在正向与反向传播完成之前更新锁定。这些约束不仅排除了生物合理性，而且由于它们严重限制内存访问并带来缓冲开销，也阻碍了边缘端低成本自适应智能传感器的发展。在本工作中，我们表明监督分类问题中提供的一热编码标签（记为 targets）可视为误差符号的代理。因此，它们的固定随机投影能够实现隐藏层的逐层前馈训练，从而在放宽计算和内存需求的同时解决权重传输与更新锁定问题。基于这些观察，我们提出了直接随机目标投影（DRTP）算法，并证明它在准确率和计算成本之间提供了适合自适应边缘计算设备的权衡。
引用
@article{arxiv.1909.01311,
title = {Learning without feedback: Fixed random learning signals allow for feedforward training of deep neural networks},
author = {Charlotte Frenkel and Martin Lefebvre and David Bol},
journal= {arXiv preprint arXiv:1909.01311},
year = {2021}
}
备注
This document is the paper as accepted for publication in the Frontiers in Neuroscience journal, the fully-edited paper is available at https://www.frontiersin.org/articles/10.3389/fnins.2021.629892