在神经网络中运用平衡传播学习中的不确定性

平衡传播（Equilibrium Propagation, EP）是一种监督学习算法，通过局部神经活动来训练网络参数。这与反向传播形成鲜明对比，后者需要大量数据混洗才能更新网络参数。避免数据移动使得 EP 作为能源效率训练的学习框架在仿生系统中尤为引人注目。本文我们评估了 EP 在包含物理不确定性的硬件上学习的能力。这对关注自我学习系统实现并利用 EP 的研究者而言尤为重要。我们的结果表明，在存在有限不确定性的情况下，能够成功地使用 EP 训练深层多层神经网络架构。该限制与训练数据集无关，可通过根据中心极限定理对网络进行采样来扩展。此外，我们展示了在 MNIST、KMNIST 和 FashionMNIST 数据集上进行有限水平不确定性训练的网络模型在模型收敛和性能方面具有改进。我们发现，针对有限程度的不确定性训练的网络实现最佳性能。我们的研究支持未来在现场构建自我学习硬件的工作。