基于脉冲的因果推断用于权重对齐
神经元与认知
2020-02-04 v2 机器学习
摘要
在使用梯度下降训练的人工神经网络中，用于处理刺激的权重也在反向传播过程中用于计算梯度。为了让真实大脑近似梯度，梯度信息必须分开传播，使得一组突触权重用于处理，另一组用于反向传播。这就产生了生物学习模型所谓的“权重传输问题”，即用于计算梯度的反向权重需要镜像用于处理刺激的前向权重。这个权重传输问题被认为非常困难，以至于流行的生物学习提议假设反向权重仅仅是随机的，如反馈对齐算法。然而，这种随机权重对于大型网络似乎效果不佳。我们在此展示了脉冲系统中引入的不连续性如何导致该问题的解决方案。由此产生的算法是计量经济学中用于因果推断的估计量——断点回归设计的一个特例。我们通过实验表明，该算法能迅速使反向权重逼近前向权重。随着反向权重变得正确，这提高了在Fashion-MNIST、SVHN、CIFAR-10和VOC等任务上相对于反馈对齐的学习性能。我们的结果表明，脉冲网络中的一个简单学习规则可以让神经元产生正确的反向连接，从而解决权重传输问题。
引用
@article{arxiv.1910.01689,
title = {Spike-based causal inference for weight alignment},
author = {Jordan Guerguiev and Konrad P. Kording and Blake A. Richards},
journal= {arXiv preprint arXiv:1910.01689},
year = {2020}
}