学习导致问题：固定极点 RNN 用于实时在线训练
机器学习
2026-02-26 v1
摘要
循环神经网络(RNN)可解释为离散时间状态空间模型，其中状态演化对应由 feedforward 权重和递归极点共同控制的无限脉冲响应(IIR)滤波操作。虽然原则上可以通过通过时间反向传播(BPTT)优化所有参数包括极点位置，但这种联合学习会产生显著的计算开销，往往不实用于数据有限的应用场景。回声状态网络(ESN)通过固定递归动力学仅训练线性读取器来缓解这一限制，实现了高效稳定的在线适应。本文对为何在数据受限的实时学习场景中学习递归极点不提供显著益处进行了分析与实证研究。我们的分析表明，极点学习会使权重优化问题高度非凸，需要梯度法收敛到有意义解的训练样本数和迭代次数显著增加。实验上，我们观察到对于复杂值数据，梯度下降常常出现长时间的平坡区，先进的优化器也有限提供改善。相比之下，固定极点结构即使在数据有限的情况下也能产生稳定且条件良好的状态表示。数值结果表明，固定极点网络在更低的训练复杂度下实现了优异性能，更适用于在线实时任务。
引用
@article{arxiv.2602.21454,
title = {When Learning Hurts: Fixed-Pole RNN for Real-Time Online Training},
author = {Alexander Morgan and Ummay Sumaya Khan and Lingjia Liu and Lizhong Zheng},
journal= {arXiv preprint arXiv:2602.21454},
year = {2026}
}