WeatherFormer：一种从小数据集中学习鲁棒天气表征的预训练编码器模型
计算机视觉与模式识别
2024-05-29 v1 人工智能
机器学习
大气与海洋物理
机器学习
摘要
本文介绍了 WeatherFormer，这是一种基于 Transformer 编码器的模型，旨在从极少的观测中学习鲁棒的天气特征。它解决了从小数据集中建模复杂天气动态的挑战，而这一直是农业、流行病学和气候科学中许多预测任务的瓶颈。WeatherFormer 在一个大型预训练数据集上进行了预训练，该数据集由横跨美洲的 39 年卫星测量数据组成。通过新颖的预训练任务和微调，WeatherFormer 在县级大豆产量预测和流感预测中取得了 SOTA 性能。技术创新包括一种独特的时空编码，能够捕捉地理、年度和季节变化，使 Transformer 架构适应连续的天气数据；以及一种预训练策略，用于学习对缺失天气特征具有鲁棒性的表征。本文首次证明了在跨多个领域的依赖天气的应用中，预训练大型 Transformer 编码器模型的有效性。
引用
@article{arxiv.2405.17455,
title = {WeatherFormer: A Pretrained Encoder Model for Learning Robust Weather Representations from Small Datasets},
author = {Adib Hasan and Mardavij Roozbehani and Munther Dahleh},
journal= {arXiv preprint arXiv:2405.17455},
year = {2024}
}