无权重对称下可扩展信用分配的两条路径

反向传播在神经层面的合理性长期以来备受争议，主要因其使用了非局部的权重传输——即一个神经元瞬时测量另一个神经元突触权重的生物学上可疑的要求。直到最近，试图创建避免权重传输的局部学习规则的尝试，在反向传播表现出色的大规模学习场景（例如使用深度卷积网络的 ImageNet 分类）中通常都以失败告终。在此，我们研究了一种近期提出的局部学习规则，该规则在与反向传播的竞争中表现相当，但我们发现它对超参数选择高度敏感，需要费力的调参且无法跨网络架构迁移。我们的分析指出了这种不稳定性的潜在数学原因，使我们能够确定一种更鲁棒的局部学习规则，该规则在无需超参数调参的情况下能更好地迁移。尽管如此，我们发现该局部规则与反向传播之间在性能和稳定性上存在差距，且随模型深度增加而扩大。随后，我们研究了几种非局部学习规则，它们将瞬时权重传输的需求放宽为更具生物学合理性的“权重估计”过程，表明这些规则在深度网络上达到了最先进的性能，并在存在噪声更新的情况下有效运作。综上，我们的结果表明了发现无权重对称的信用分配的神经实现的两条路径：进一步改进局部规则使其在不同架构间表现一致，以及确定非局部学习机制的生物学实现。