EMFormer：高效多尺度 Transformer 用于累积上下文天气预测
计算机视觉与模式识别
2026-05-12 v2
摘要
长期天气预测对于社会经济规划和灾害准备至关重要。虽然最近的方法通过微调来延长预测时程，但仍受不可避免遗忘、误差积累以及高训练开销的限制。为此，我们提出了一个跨预训练、微调和预测的新型管道，以增强长程上下文建模，同时降低计算开销。首先，我们引入高效多尺度 Transformer（EMFormer），通过单个卷积在训练和推理过程中提取多尺度特征。基于新型架构，我们进一步采用累积上下文微调以提高时序一致性，而不会牺牲短期精度。此外，我们提出一种复合损失函数，通过正弦加权动态平衡不同损失项，从而在预训练和微调期间自适应引导优化轨迹。实验表明，我们的方法在天气预测和极端事件预测方面表现优异，显著提升了长期预测精度。此外，EMFormer 在视觉基准测试（ImageNet-1K 和 ADE20K）上表现出强大的泛化能力，相较于传统多尺度模块实现了 5.69 倍的加速。代码：https://github.com/chenhao-zju/emformer
关键词
引用
@article{arxiv.2602.01194,
title = {EMFormer: Efficient Multi-Scale Transformer for Accumulative Context Weather Forecasting},
author = {Hao Chen and Tao Han and Jie Zhang and Song Guo and Fenghua Ling and Lei Bai},
journal= {arXiv preprint arXiv:2602.01194},
year = {2026}
}
备注
This paper has been accepted by ICML2026