调节循环神经网络训练中的烧入阶段可提高其性能
机器学习
2026-02-12 v1 系统与控制
系统与控制
最优化与控制
摘要
使用标准的通过时间反向传播（BPTT）训练循环神经网络（RNN）在面对长输入序列时可能具有挑战性，尤其是当序列长度较长时。一种实用方法是对训练数据集的较短片段重复执行BPTT，称为截断BPTT。本文考察了在时间序列任务中使用此类截断学习方法进行RNN训练的情形。具体而言，我们在对子序列进行优化而非对完整数据序列进行优化时，对准确性和性能损失建立了理论界限。这表明，RNN的烧入阶段是训练中的一个重要调谐旋钮，对性能保证具有显著影响。我们通过系统辨识和时间序列预测领域的标准基准实验验证了理论结果。在所有实验中，我们观察到烧入阶段对训练过程具有强烈影响，适当的调谐可在某些情况下使训练和测试数据的预测误差降低超过60%。
引用
@article{arxiv.2602.10911,
title = {Tuning the burn-in phase in training recurrent neural networks improves their performance},
author = {Julian D. Schiller and Malte Heinrich and Victor G. Lopez and Matthias A. Müller},
journal= {arXiv preprint arXiv:2602.10911},
year = {2026}
}
备注
Published as a conference paper at ICLR 2026, https://openreview.net/forum?id=jwkdKpioHJ