SimVPv2：迈向简洁而强大的时空预测学习
机器学习
2024-12-13 v4
摘要
近年来时空预测学习取得显著进展，相关方法引入了辅助输入、复杂神经架构与精细训练策略。尽管 SimVP 已为该任务引入了更简洁的基于 CNN 的基线，它仍依赖沉重的类 Unet 架构进行空间与时间建模，仍存在高复杂度与计算开销。本文中，我们提出 SimVPv2，一种精简模型，消除了对 Unet 架构的需求，并证明由高效门控时空注意力机制增强的普通卷积层堆叠即可提供最先进的性能。SimVPv2 不仅简化了模型架构，还提升了性能与计算效率。在标准 Moving MNIST 基准上，SimVPv2 相较 SimVP 取得更优性能，且 FLOPs 更少、训练时间约为一半、推理效率快 60%。在涵盖交通预测与气候预测等真实世界任务的八个多样数据集上的大量实验进一步表明，SimVPv2 提供了一种强大而直接的方案，在各种时空学习场景中实现鲁棒泛化。我们相信所提出的 SimVPv2 可作为坚实基线，惠及时空预测学习社区。
引用
@article{arxiv.2211.12509,
title = {SimVPv2: Towards Simple yet Powerful Spatiotemporal Predictive Learning},
author = {Cheng Tan and Zhangyang Gao and Siyuan Li and Stan Z. Li},
journal= {arXiv preprint arXiv:2211.12509},
year = {2024}
}
备注
Accepted by TMM