更快的生物梯度下降学习

反向传播是一种流行的机器学习算法，在训练神经网络进行监督学习时使用梯度下降，但可能非常缓慢。已开发多种算法以加速收敛并提升学习的鲁棒性。然而，它们因需要来自先前更新的信息而难以在生物学上实现。受生物学中突触竞争的启发，我们提出了一种简单且局部的梯度下降优化算法，可缩短训练时间，且无需过去的细节。我们的算法名为动态学习率（DLR），其工作方式与反向传播中使用的传统梯度下降类似，不同之处在于：它不是在所有突触上采用统一学习率，而是令学习率依赖于当前神经元连接权重。我们发现该算法可加速学习，尤其对于小型网络。