GAIT-prop：一种由误差反向传播导出的生物学合理学习规则
机器学习
2020-11-06 v3 神经与进化计算
机器学习
摘要
传统的误差反向传播虽然是人工神经网络模型中极为成功的学习算法，但其包含的一些特性在真实神经回路的学习中并不具备生物学合理性。一种称为目标传播（target propagation）的替代方案提出，通过使用神经活动的自顶向下模型，将神经网络输出端的误差转换为每一层且合理的单元“目标”，从而解决这种不合理性。这些目标随后可用于产生网络训练的权重更新。然而，迄今为止，目标传播一直是启发式提出的，并未展示出与反向传播的等价性。在此，我们推导了反向传播与一种改进形式的目标传播（GAIT-prop）之间的精确对应关系，其中目标是对前向传播的一个微小扰动。具体而言，当突触权重矩阵为正交时，反向传播与GAIT-prop给出完全相同的更新。在一系列简单的计算机视觉实验中，我们展示了在采用软正交性诱导正则化器的情况下，反向传播与GAIT-prop具有近乎一致的性能。
引用
@article{arxiv.2006.06438,
title = {GAIT-prop: A biologically plausible learning rule derived from backpropagation of error},
author = {Nasir Ahmad and Marcel A. J. van Gerven and Luca Ambrogioni},
journal= {arXiv preprint arXiv:2006.06438},
year = {2020}
}
备注
13 pages, 4 figures