带加权时延反馈的门控循环神经网络

Hu Lu; Xuezhang Zou; Pingping Zhang

带加权时延反馈的门控循环神经网络

计算机视觉与模式识别 2022-12-02 v1 信息检索多媒体

作者: Hu Lu , Xuezhang Zou , Pingping Zhang

摘要

本文提出一种对序列数据中长期依赖建模的新方法，通过引入带加权时延反馈机制的门控循环单元（GRU）。我们提出的模型称为 $\tau$ -GRU，是循环单元连续时间公式的离散化版本，其动力学由时滞微分方程（DDEs）支配。我们证明了连续时间模型解的存在性与唯一性，并表明所提反馈机制能显著改善长期依赖建模。我们的实验结果表明， $\tau$ -GRU 在一系列任务上优于最先进的循环单元与门控循环架构，实现了更快的收敛与更好的泛化。

关键词

门控循环单元时延反馈长期依赖时滞微分方程 τ-GRU 序列建模

引用

@article{arxiv.2212.00226,
  title  = {Learning Progressive Modality-shared Transformers for Effective Visible-Infrared Person Re-identification},
  author = {Hu Lu and Xuezhang Zou and Pingping Zhang},
  journal= {arXiv preprint arXiv:2212.00226},
  year   = {2022}
}

备注

This work will appear in AAAI2023, including 8 figures and 6 tables. More improvements may be added

相关论文

查看更多相关论文 →