M3R：基于气象信息的多模态注意力局部雨量预报
机器学习
2026-04-20 v1 计算机视觉与模式识别
多媒体
摘要
准确及时的雨量预报对于灾害减缓和水资源管理至关重要。尽管深度学习近期取得了进展，但 precipitation 预测仍面临有效利用多源异构数据的局限。我们提出M3R（Meteorology-informed MultiModal attention-based architecture for direct Rainfall prediction），一种气象信息驱动的多模态注意力架构，直接用于雨量预测，综合视觉NEXRAD雷达图像与数值型Personal Weather Station（PWS）测量数据，构建完整的异构气象数据时间对齐流水线。通过专门的多模态注意力机制，M3R首次将气象站时间序列作为查询条件，选择性地注意力聚焦于雷达空间特征，从而实现对降水特征的精准提取。实验结果表明，在以NEXRAD雷达站为中心的100km×100km区域内，M3R显著优于现有方法，在准确性、效率和降水检测能力方面实现显著提升。本工作建立了基于多媒体的降水预报新基准，为 operational 气象预测系统提供了实用工具。
引用
@article{arxiv.2604.15377,
title = {M3R: Localized Rainfall Nowcasting with Meteorology-Informed MultiModal Attention},
author = {Sanjeev Panta and Rhett M Morvant and Xu Yuan and Li Chen and Nian-Feng Tzeng},
journal= {arXiv preprint arXiv:2604.15377},
year = {2026}
}
备注
Accepted at IEEE International Conference on Multimedia and Expo (ICME) 2026