时空知识集成的一种轻量方法：大气时间序列预测
机器学习
2025-09-25 v2 人工智能
大气与海洋物理
摘要
Transformer 因其捕捉全局时空相关性的能力而在大气时间序列预测（ATSF）中受到关注。然而，其复杂的架构导致参数数量过多和训练时间延长，限制了其在大规模预测中的扩展性。本文从大气动力学的理论视角重新审视 ATSF，并揭示了一个关键洞察：时空位置嵌入（STPE）即使在没有注意力机制的情况下也能自然地建模时空相关性。其有效性源于地理坐标与时间特征的整合，二者与大气动力学内在关联。基于此，我们提出 STELLA（Spatial-Temporal knowledge Embedded Lightweight modeL for ASTF），仅使用 STPE 和 MLP 架构替代 Transformer 层。STELLA 仅用 10k 参数和一小时训练，即在五个数据集上取得了优于其他先进方法的性能。本文强调时空知识整合的有效性优于复杂架构，为 ATSF 提供了新见解。代码地址：https://github.com/GestaltCogTeam/STELLA
引用
@article{arxiv.2408.09695,
title = {On the Integration of Spatial-Temporal Knowledge: A Lightweight Approach to Atmospheric Time Series Forecasting},
author = {Yisong Fu and Fei Wang and Zezhi Shao and Boyu Diao and Lin Wu and Zhulin An and Chengqing Yu and Yujie Li and Yongjun Xu},
journal= {arXiv preprint arXiv:2408.09695},
year = {2025}
}