深度物理神经网络的无反向传播训练

近年来，深度学习在视觉和自然语言处理等多个领域取得了卓越成功。这一成功在很大程度上归功于深度学习模型规模的庞大，且预计其规模将持续增长。深度学习模型的增长伴随着其在训练和推理阶段可观的能耗以及可扩展性相关的问题。尽管已有一些基于非传统物理系统的工作解决了推理阶段的能效问题，但深度学习模型的高效训练仍未被解决。迄今为止，数字深度学习模型的训练主要依赖反向传播，这不适合物理实现，因为它需要完美知晓神经网络所谓前向传播中所执行的计算。在此，我们通过提出一种简单的深度神经网络架构并辅以一种生物学上合理的学习算法（称为“无模型前向-前向训练”）来解决该问题。所提架构能够训练由物理非线性系统层组成的深度物理神经网络，而无需详细了解非线性物理层的特性。我们表明，我们的方法通过提高训练速度、减少数字计算以及降低物理系统中的功耗，优于最先进的硬件感知训练方法。我们展示了所提方法的适应性，即使在暴露于动态或不可预测外部扰动的系统中也是如此。为展示我们方法的普适性，我们训练了不同的基于波的物神经网络，这些网络在底层波现象和所使用的非线性类型上各异，并通过实验执行元音和图像分类任务。