利用神经网络对气象数据集进行数据清洗
机器学习
2024-06-24 v1
摘要
在气候科学中，我们常希望比较不同的数据集。由于观测数据与再分析数据，甚至不同再分析数据之间不可避免地出现偏差，这种对齐问题往往会引发困难。这类不一致性会给任何试图从一个数据集推断另一个数据集信息的工作带来问题。我们以热带气旋位置作为一个示例任务，其中一个数据集提供大气条件（ERA5），另一个数据集提供气旋轨迹（IBTrACS）。我们发现，尽管这些示例往往对齐良好，但有约25%的示例未能良好对齐。我们训练了一个神经网络，将风场映射到气旋位置；在这个设置下，数据集之间的不一致性表现为“标签噪声”（即标记的气旋位置不对应于底层风场）。我们发现，该神经网络仅使用来自IBTrACS的常规噪声标签训练后，具有去噪效果，并且比IBTrACS标签本身表现更好，测量标准为人类偏好。令人惊讶的是，这一点甚至适用于训练点上，我们本可以期望网络对IBTrACS预测产生过拟合。
引用
@article{arxiv.2406.15027,
title = {Using Neural Networks for Data Cleaning in Weather Datasets},
author = {Jack R. P. Hanslope and Laurence Aitchison},
journal= {arXiv preprint arXiv:2406.15027},
year = {2024}
}
备注
6 pages, 2 figures, ICML 2024 Workshop on Machine Learning for Earth System Modeling