ClimateIQA：用于气象异常分析的新型数据集与基准
计算机视觉与模式识别
2026-01-14 v4 人工智能
摘要
气象热力图在解密极端天气现象方面发挥着关键作用，但其固有的复杂性——包括不规则的轮廓、非结构化的图案以及复杂的颜色变化——为当前主流视觉语言模型（VLM）带来了独特的分析挑战。当前的SOTA模型如GPT-4o、Qwen-VL和LLaVA 1.6在进行精确颜色识别和空间定位时常常表现不佳，导致解释不准确或不完整。为解决这些挑战，我们提出了稀疏位置与轮廓跟踪（SPOT）算法，这是一种专为处理视觉数据中不规则形状彩色区域而设计的新型算法。SPOT通过提取空间坐标来识别和定位这些区域，从而实现对不规则形状的结构化表示。基于SPOT，我们构建了ClimateIQA，这是一个新的气象视觉问答（VQA）数据集，包含26,280个高分辨率热力图和762,120个指令样本，用于风力、总降水、风寒指数和热指数的分析。ClimateIQA通过融合空间线索、地理元数据和再分析数据，增强了VLM在解释和描述极端天气特征方面的准确性。此外，我们开发了Climate-Zoo，一套基于SPOT赋能的ClimateIQA微调的VLM，显著优于现有模型在气象热力图任务中的表现。
引用
@article{arxiv.2406.09838,
title = {ClimateIQA: A New Dataset and Benchmark to Advance Vision-Language Models in Meteorology Anomalies Analysis},
author = {Jian Chen and Peilin Zhou and Yining Hua and Dading Chong and Meng Cao and Yaowei Li and Wei Chen and Bing Zhu and Junwei Liang and Zixuan Yuan},
journal= {arXiv preprint arXiv:2406.09838},
year = {2026}
}