利用战略性预训练减少过拟合：Baguan——面向天气预报的预训练模型
机器学习
2025-05-21 v1 人工智能
摘要
天气预报长期以来是人类面临的重大挑战。虽然近期基于AI的模型在全球预测任务中超越了传统的数值天气预报 (NWP) 方法，但由于仅剩几十年的真实天气数据，过拟合仍是一个关键问题。不同于计算机视觉或自然语言处理等领域的数据丰富性可缓解过拟合，天气预报需要创新策略以应对现有数据。本文探索了天气预报的预训练方法，发现选择合适的具有挑战性的预训练任务可引入局部偏差，从而有效缓解过拟合并提升性能。我们引入Baguan，一个基于Siamese自编码器在自监督方式下预训练、为不同 lead time微调的中期天气预报新型数据驱动模型。实验结果表明，Baguan超越传统方法，提供更准确的预测。此外，预训练的Baguan在过拟合控制方面表现出色，并在微调后在下游任务（如亚季节至季节 (S2S) 模型和区域预测）中表现出色。
关键词
引用
@article{arxiv.2505.13873,
title = {Utilizing Strategic Pre-training to Reduce Overfitting: Baguan -- A Pre-trained Weather Forecasting Model},
author = {Peisong Niu and Ziqing Ma and Tian Zhou and Weiqi Chen and Lefei Shen and Rong Jin and Liang Sun},
journal= {arXiv preprint arXiv:2505.13873},
year = {2025}
}
备注
KDD2025 research track accepted