中文

Kickback 削减反向传播的繁文缛节:神经网络中生物可信的信用分配

机器学习 2014-11-25 v1 神经与进化计算 神经元与认知

摘要

误差反向传播是一种在人工神经网络中进行信用分配的极高效算法。然而,反向传播(Backprop)下的权重更新依赖于冗长的递归计算,并需要独立的输出与误差信号——这些特征并非生物神经元所共有,且或许是不必要的。在本文中,我们重新审视反向传播与信用分配问题。我们首先将反向传播分解为一组相互作用的子学习算法;提供这些子算法性能的遗憾界(regret bounds);并对反向传播的误差信号进行因式分解。利用这些结果,我们推导 out 一种用于非参数回归的新信用分配算法 Kickback,其显著简于反向传播。最后,我们提供了 Kickback 遵循误差梯度的充分条件,并表明 Kickback 在真实世界回归基准测试中的表现与反向传播相当。

关键词

引用

@article{arxiv.1411.6191,
  title  = {Kickback cuts Backprop's red-tape: Biologically plausible credit assignment in neural networks},
  author = {David Balduzzi and Hastagiri Vanchinathan and Joachim Buhmann},
  journal= {arXiv preprint arXiv:1411.6191},
  year   = {2014}
}

备注

7 pages. To appear, AAAI-15