用于气候应用数据压缩的机器学习技术
机器学习
2024-05-03 v1 大气与海洋物理
摘要
科学家们进行大规模模拟，以从原始数据中计算导出的感兴趣量。通常，QoI 与特定特征、区域或时间间隔相关联，因此可以在不损害 QoI 完整性的情况下自适应地缩减数据。对于许多时空应用，这些 QoI 本质上是二元的，表示物理现象的存在或不存在。我们提出了一种流水线压缩方法，首先使用基于神经网络的技术推导出 QoI 极有可能存在的区域。然后，我们采用保证自编码器 以具有微分误差界限的方式压缩数据。GAE 利用 QoI 信息仅对这些区域应用低误差压缩。这导致了整体高压缩比，同时仍能实现模拟或数据收集的下游目标。针对 E3SM 模拟模型生成的气候数据，展示了关于热带气旋和大气河流检测与跟踪等下游量的实验结果。这些结果表明我们的方法优于文献中的可比方法。
引用
@article{arxiv.2405.00879,
title = {Machine Learning Techniques for Data Reduction of Climate Applications},
author = {Xiao Li and Qian Gong and Jaemoon Lee and Scott Klasky and Anand Rangarajan and Sanjay Ranka},
journal= {arXiv preprint arXiv:2405.00879},
year = {2024}
}
备注
7 pages. arXiv admin note: text overlap with arXiv:2404.18063