SwinLSTM：利用 Swin Transformer 与 LSTM 提升时空预测精度
计算机视觉与模式识别
2023-12-27 v2 人工智能
摘要
融合 CNN 与 RNN 以捕捉时空依赖是时空预测任务的普遍策略。然而，CNN 学习局部空间信息的特性降低了其捕捉时空依赖的效率，从而限制了预测精度。本文提出一种新的循环单元 SwinLSTM，它集成了 Swin Transformer 块与简化版 LSTM，是将 ConvLSTM 中的卷积结构替换为自注意力机制的扩展。此外，我们构建了以 SwinLSTM 单元为核心的时空预测网络。在不使用特殊技巧的情况下，SwinLSTM 在 Moving MNIST、Human3.6m、TaxiBJ 和 KTH 数据集上优于最先进方法。特别地，与 ConvLSTM 相比，它在预测精度上表现出显著提升。我们具有竞争力的实验结果表明，学习全局空间依赖更有利于模型捕捉时空依赖。希望 SwinLSTM 能作为一个坚实基线，推动时空预测精度的发展。代码已公开于 https://github.com/SongTang-x/SwinLSTM。
引用
@article{arxiv.2308.09891,
title = {SwinLSTM:Improving Spatiotemporal Prediction Accuracy using Swin Transformer and LSTM},
author = {Song Tang and Chuang Li and Pu Zhang and RongNian Tang},
journal= {arXiv preprint arXiv:2308.09891},
year = {2023}
}
备注
This paper has been accepted by ICCV 2023