循环神经网络的无梯度训练
机器学习
2025-01-30 v2 数值分析
数值分析
摘要
循环神经网络是一种成功的时间依赖问题神经网络架构，包括时间序列分析、预测和动力学系统建模。使用通过时间反向传播训练此类网络是一个众所周知的问题，因为其损失梯度往往爆炸或消失。在这项工作中，我们提出了一种计算方法来构建循环神经网络的所有权重和偏置，而不使用基于梯度的方法。该方法基于随机特征网络和动力学系统Koopman算子理论的结合。单个循环块的隐藏参数随机采样，而外部权重使用扩展动态模态分解来构建。该方法缓解了与循环网络相关的所有反向传播常见问题。与动力学系统Koopman算子理论的联系也使我们能够开始利用该领域的成果来分析循环神经网络。在时间序列、混沌动力学系统预测和控制问题以及气象数据的计算实验中，我们观察到所构建的循环神经网络的训练时间和预测精度与常用的基于梯度的方法相比有所提高。
引用
@article{arxiv.2410.23467,
title = {Gradient-free training of recurrent neural networks},
author = {Erik Lien Bolager and Ana Cukarska and Iryna Burak and Zahra Monfared and Felix Dietrich},
journal= {arXiv preprint arXiv:2410.23467},
year = {2025}
}