CLLMate：用于天气与气候事件预报的多模态基准
机器学习
2025-02-18 v2 人工智能
计算与语言
大气与海洋物理
摘要
预报天气和气候事件对于采取适当措施减轻环境危害和减少损失至关重要。然而，现有的环境预报研究仅局限于预测数值气象变量（如温度），而忽略了将这些变量转化为可操作的事件及其后果的文本叙述。为了弥合这一差距，我们提出了天气与气候事件预报，这是一项利用数值气象栅格数据和文本事件数据来预测天气和气候事件的新任务。由于多模态数据对齐的困难和监督数据集的缺乏，完成这项任务具有挑战性。为了应对这些挑战，我们提出了 CLLMate，这是第一个用于 WCEF 的多模态数据集，使用了 26,156 篇与 ERA5 再分析数据对齐的环境新闻文章。我们在 CLLMate 上对 23 个现有的 MLLM 进行了系统基准测试，包括闭源、开源以及我们微调的模型。我们的实验揭示了现有 MLLM 的优势和局限性，以及 CLLMate 在 WCEF 任务的训练和基准测试中的价值。
引用
@article{arxiv.2409.19058,
title = {CLLMate: A Multimodal Benchmark for Weather and Climate Events Forecasting},
author = {Haobo Li and Zhaowei Wang and Jiachen Wang and Yueya Wang and Alexis Kai Hon Lau and Huamin Qu},
journal= {arXiv preprint arXiv:2409.19058},
year = {2025}
}