Earthformer：探索用于地球系统预报的时空 Transformer
机器学习
2023-03-02 v2 人工智能
计算机视觉与模式识别
摘要
传统上，地球系统（如天气和气候）预报依赖于复杂物理模型的数值模拟，因此计算代价高昂且对领域专业知识要求高。随着过去十年时空地球观测数据的爆炸式增长，应用深度学习（DL）的数据驱动模型在各种地球系统预报任务中展现出令人印象深刻的潜力。Transformer 作为一种新兴的 DL 架构，尽管在其他领域取得广泛成功，在该领域的应用仍很有限。本文中，我们提出 Earthformer，一种用于地球系统预报的时空 Transformer。Earthformer 基于一个名为 Cuboid Attention（长方体注意力）的通用、灵活且高效的时空注意力模块。其思想是将数据分解为长方体，并并行地施加长方体级别的自注意力。这些长方体进一步通过一组全局向量相连接。我们在 MovingMNIST 数据集和一个新提出的混沌 N-body MNIST 数据集上进行实验，以验证长方体注意力的有效性并确定 Earthformer 的最佳设计。在关于降水临近预报和厄尔尼诺/南方涛动（ENSO）预报的两个真实世界基准上的实验表明，Earthformer 达到了最先进的性能。代码可用：https://github.com/amazon-science/earth-forecasting-transformer。
引用
@article{arxiv.2207.05833,
title = {Earthformer: Exploring Space-Time Transformers for Earth System Forecasting},
author = {Zhihan Gao and Xingjian Shi and Hao Wang and Yi Zhu and Yuyang Wang and Mu Li and Dit-Yan Yeung},
journal= {arXiv preprint arXiv:2207.05833},
year = {2023}
}
备注
Published at NeurIPS 2022. Camera-ready version