利用稳态状态反馈快速训练循环神经网络
机器学习
2025-04-01 v1 人工智能
摘要
循环神经网络最近在可比的参数预算下展现出了强大的性能，并且推理速度比 Transformer 更快。然而，使用沿时间反向传播（或 BPTT）算法的递归梯度计算仍然是主要的计算瓶颈。在这项工作中，我们提出了一种新颖的方法，用固定的梯度反馈机制替代 BPTT，在时间平稳性的假设下产生了精确梯度传播的高效近似。我们的方法利用状态空间模型（SSM）原理定义了一个结构化的反馈矩阵，直接从未来时间步传播梯度。这种表述绕过了递归梯度反向传播的需要，在保持网络捕获长期依赖能力的同时，显著降低了训练开销。在语言建模基准上的实验展示了具有竞争力的困惑度得分，同时显著降低了训练成本。这些有前景的结果表明，设计像 SSM 这样的反馈方法可以充分挖掘 RNN 在许多实际应用中的效率优势。
引用
@article{arxiv.2503.23104,
title = {Fast Training of Recurrent Neural Networks with Stationary State Feedbacks},
author = {Paul Caillon and Erwan Fagnou and Alexandre Allauzen},
journal= {arXiv preprint arXiv:2503.23104},
year = {2025}
}
备注
18 pages (including additional contents), 3 figures, 5 tables, code available at https://github.com/p0lcAi/DSF