Kickback 削减反向传播的繁文缛节:神经网络中生物可信的信用分配
机器学习
2014-11-25 v1 神经与进化计算
神经元与认知
摘要
误差反向传播是一种在人工神经网络中进行信用分配的极高效算法。然而,反向传播(Backprop)下的权重更新依赖于冗长的递归计算,并需要独立的输出与误差信号——这些特征并非生物神经元所共有,且或许是不必要的。在本文中,我们重新审视反向传播与信用分配问题。我们首先将反向传播分解为一组相互作用的子学习算法;提供这些子算法性能的遗憾界(regret bounds);并对反向传播的误差信号进行因式分解。利用这些结果,我们推导 out 一种用于非参数回归的新信用分配算法 Kickback,其显著简于反向传播。最后,我们提供了 Kickback 遵循误差梯度的充分条件,并表明 Kickback 在真实世界回归基准测试中的表现与反向传播相当。
引用
@article{arxiv.1411.6191,
title = {Kickback cuts Backprop's red-tape: Biologically plausible credit assignment in neural networks},
author = {David Balduzzi and Hastagiri Vanchinathan and Joachim Buhmann},
journal= {arXiv preprint arXiv:1411.6191},
year = {2014}
}
备注
7 pages. To appear, AAAI-15