通过潜在表示编码压缩高分辨率数据以降采样大规模AI天气预测模型
机器学习
2024-10-15 v1 人工智能
图像与视频处理
大气与海洋物理
摘要
人工智能（AI）在天气研究中的快速发展得益于其从大规模高维数据中学习的能力。然而，这一进展也带来了重大挑战，尤其是处理大量数据所需的巨大成本以及计算资源的限制。灵感来自计算机视觉中的神经图像压缩（NIC）任务，本研究旨在压缩气象数据以解决这些挑战并提高下游应用的效率。具体而言，我们提出了一个针对压缩高分辨率数据集的变分自编码器（VAE）框架，特别是针对空间分辨率为1公里的高分辨率中国气象局土地数据同化系统（HRCLDAS）。我们的框架成功将3年HRCLDAS数据的存储大小从8.61 TB 减少到仅204 GB，同时保留了关键信息。此外，我们通过降采样任务演示了压缩数据的实用性，其中在压缩数据集上训练的模型在准确性方面与在原始数据上训练的模型相当。这些结果凸显了压缩数据在未来天气研究中的有效性和潜力。
引用
@article{arxiv.2410.09109,
title = {Compressing high-resolution data through latent representation encoding for downscaling large-scale AI weather forecast model},
author = {Qian Liu and Bing Gong and Xiaoran Zhuang and Xiaohui Zhong and Zhiming Kang and Hao Li},
journal= {arXiv preprint arXiv:2410.09109},
year = {2024}
}
备注
19 pages