机器中的学习：随机反向传播与深度学习通道
机器学习
2017-12-25 v2 人工智能
神经与进化计算
摘要
随机反向传播（RBP）是训练神经网络的反向传播算法的一种变体，其在权重更新的计算中，前向矩阵的转置被固定的随机矩阵所替代。它之所以引人注目，既是因为尽管使用随机矩阵来传递误差信息却依然有效，也是因为它完全去除了在物理神经系统中维持对称权重的严苛要求。为了更好地理解随机反向传播，我们首先将其与局部学习和学习通道的概念相联系。通过这一联系，我们推导了 RBP 的若干替代方案，包括跳跃式 RBP（SRPB）、自适应 RBP（ARBP）、稀疏 RBP 及其组合（例如 ASRBP），并分析了它们的计算复杂度。随后，我们使用 MNIST 和 CIFAR-10 基准数据集通过模拟研究它们的行为。这些模拟表明，大多数变体工作稳健，几乎与反向传播一样好，并且激活函数导数相乘至关重要。作为后续，我们还研究了通过学习通道传递误差信息所需的比特数的下限。然后我们为 RBP 及其变体的一些显著性质提供了部分直观解释。最后，我们证明了若干数学结果，包括任意长度线性链收敛到不动点、去相关数据的线性自编码器收敛到不动点、具有单个隐藏层的线性系统解的长期存在性及特殊情形下的收敛，以及当包含激活函数导数时非线性链收敛到不动点。
引用
@article{arxiv.1612.02734,
title = {Learning in the Machine: Random Backpropagation and the Deep Learning Channel},
author = {Pierre Baldi and Peter Sadowski and Zhiqin Lu},
journal= {arXiv preprint arXiv:1612.02734},
year = {2017}
}