生物学上合理的学习算法可扩展到大型数据集
机器学习
2018-12-24 v3 人工智能
计算机视觉与模式识别
神经与进化计算
机器学习
摘要
反向传播（BP）算法常被认为在大脑中生物学上不合理。主要原因之一是BP在前馈与反馈通路中需要对称权重矩阵。为解决这一“权重传输问题”（Grossberg, 1987），Liao等人（2016）与Lillicrap等人（2016）提出了两种更具生物学合理性的算法，放宽了BP的权重对称要求，并在小数据集上展现出与BP相当的学习能力。然而，Bartunov等人（2018）近期在MINIST、CIFAR和ImageNet数据集上评估了目标传播（TP）与反馈对齐（FA）的变体，发现尽管许多所提算法在MNIST和CIFAR上表现良好，在ImageNet上却显著劣于BP。在此，我们额外评估了符号对称算法（Liao et al., 2016），其与BP和FA均不同：反馈与前馈权重共享符号但不共享幅值。我们使用不同网络架构（ImageNet用ResNet-18和AlexNet，MS COCO用RetinaNet）考察了符号对称与反馈对齐在ImageNet和MS COCO数据集上的性能。令人惊讶的是，用符号对称训练的网络可达到接近BP训练网络的分类性能。这些结果补充了Bartunov等人（2018）的研究，并为未来更具生物学合理性的学习算法在更困难数据集与更复杂架构上确立了新基准。
引用
@article{arxiv.1811.03567,
title = {Biologically-plausible learning algorithms can scale to large datasets},
author = {Will Xiao and Honglin Chen and Qianli Liao and Tomaso Poggio},
journal= {arXiv preprint arXiv:1811.03567},
year = {2018}
}