带加权时延反馈的门控循环神经网络

N. Benjamin Erichson; Soon Hoe Lim; Michael W. Mahoney

带加权时延反馈的门控循环神经网络

机器学习 2025-05-21 v2 神经与进化计算机器学习

作者: N. Benjamin Erichson , Soon Hoe Lim , Michael W. Mahoney

摘要

本文提出一种对序列数据中长期依赖建模的新方法，通过引入带加权时延反馈机制的门控循环单元（GRU）。我们提出的模型称为 $\tau$ -GRU，是循环单元连续时间公式的离散化版本，其动力学由时滞微分方程（DDEs）支配。我们证明了连续时间模型解的存在性与唯一性，并表明所提反馈机制能显著改善长期依赖建模。我们的实验结果表明， $\tau$ -GRU 在一系列任务上优于最先进的循环单元与门控循环架构，实现了更快的收敛与更好的泛化。

关键词

门控循环单元时延反馈长期依赖时滞微分方程 τ-GRU 序列建模

引用

@article{arxiv.2212.00228,
  title  = {Gated Recurrent Neural Networks with Weighted Time-Delay Feedback},
  author = {N. Benjamin Erichson and Soon Hoe Lim and Michael W. Mahoney},
  journal= {arXiv preprint arXiv:2212.00228},
  year   = {2025}
}

备注

Proceedings of the 28th International Conference on Artificial Intelligence and Statistics (AISTATS) 2025,

带加权时延反馈的门控循环神经网络

摘要

关键词

引用

备注

相关论文