扰动梯度训练：一种用于弥补深度神经网络与物理储备计算之间差距的新型训练范式
机器学习
2025-06-06 v1 介观与纳米尺度物理
新兴技术
神经与进化计算
计算物理
摘要
我们提出扰动梯度训练(PGT)，这是一种克服物理储备计算关键局限性的新型训练范式：由于储备计算的黑箱本质，无法进行反向传播。PGT借鉴物理学中的扰动理论，使用网络参数空间中的随机扰动来近似梯度更新，仅需前向传递。我们在包括密集神经网络和带储备层的变换模型等仿真神经网络架构上，以及使用磁声自激环作为物理储备的实验硬件上 demonstrate了该方法的可行性。我们的结果表明，PGT在反向传播不实用或不可行的情况下，可实现与标准反向传播方法相当的性能。PGT代表了将物理储备集成到更深神经网络架构中并实现AI训练显著能效提升的有前景的一步。
引用
@article{arxiv.2506.04523,
title = {Perturbative Gradient Training: A novel training paradigm for bridging the gap between deep neural networks and physical reservoir computing},
author = {Cliff B. Abbott and Mark Elo and Dmytro A. Bozhko},
journal= {arXiv preprint arXiv:2506.04523},
year = {2025}
}
备注
7 pages, 8 figures, submitted to IEEE Transactions on Neural Netowrks and Learning Systems