MoDeRNN：面向时空预测学习中细粒度运动细节
计算机视觉与模式识别
2022-02-15 v2
摘要
时空预测学习（ST-PL）旨在基于有限的观测序列预测后续帧，并在现实世界中有广泛应用。然而，学习具有代表性的时空特征用于预测具有挑战性。此外，连续帧间混沌不确定性加剧了长期预测的困难。本文致力于通过增强先前上下文与当前状态之间的对应关系来提升预测质量。我们精心设计了细节上下文块（DCB）以提取细粒度细节并改善上层上下文状态与当前输入状态之间的孤立关联。我们将 DCB 与标准 ConvLSTM 集成，提出运动细节 RNN（MoDeRNN）以捕获细粒度时空特征并改善 RNNs 隐状态的表达以实现显著质量。在 Moving MNIST 与 Typhoon 数据集上的实验证明了所提方法的有效性。MoDeRNN 以更低的计算负载在定性与定量上优于现有最优技术。
引用
@article{arxiv.2110.12978,
title = {MoDeRNN: Towards Fine-grained Motion Details for Spatiotemporal Predictive Learning},
author = {Zenghao Chai and Zhengzhuo Xu and Chun Yuan},
journal= {arXiv preprint arXiv:2110.12978},
year = {2022}
}
备注
Accepted at ICASSP 2022