跳跃连接对于生物可信学习规则是否必要？
神经与进化计算
2020-01-07 v1 机器学习
机器学习
摘要
反向传播是深度学习的支柱，然而，已有若干其他受生物学启发的学习规则被提出，例如随机反馈对齐和差分目标传播。这些方法均未能在与反向传播的竞争中取得相当的性能。在本文中，我们表明，具有中间层之间跳跃连接的生物启发学习规则在 MNIST 数据集上可以表现得与反向传播一样好，并且对多组超参数具有鲁棒性。
引用
@article{arxiv.2001.01647,
title = {Are skip connections necessary for biologically plausible learning rules?},
author = {Daniel Jiwoong Im and Rutuja Patil and Kristin Branson},
journal= {arXiv preprint arXiv:2001.01647},
year = {2020}
}