面向可靠降雨时预报的稳定注意力响应
机器学习
2026-05-14 v1 人工智能
摘要
降雨时预报因大气动力学的高度局部化、快速演化和异质性，仍然具有挑战性。尽管近期方法在单模态和多模态设置中越来越多地采用注意力架构，但主要强调更强的表示学习和预测能力，而对注意力响应在不同样本之间的稳定性关注不足。在本工作中，我们表明注意力响应能量在样本之间的跨样本不稳定性是一个重要且此前被低估的预测不可靠来源。经验上，不准确的预测与注意力响应能量在不同头和层之间的较大波动相关。理论上，我们证明跨样本的变异性可以通过自注意力机制传播，并放大预测误差的下界。在此基础上，我们提出 HARECast，即基于 Head-wise Attention Response Energy 调控的框架，用于降雨时预报。HARECast 显式建模 head-wise 注意力响应能量，通过组级正则化目标稳定其，从而减少跨样本波动。该提出的公式通用且可用于单模态和多模态时预报架构。我们在标准时预报管道中实例化 HARECast，包括重建分支和基于扩散的预测器，评估了常用基准——SEVIR 和 MeteoNet。实验结果表明，HARECast 实现了最先进的性能。
引用
@article{arxiv.2605.13181,
title = {Stable Attention Response for Reliable Precipitation Nowcasting},
author = {Penghui Wen and Zexin Hu and Sen Zhang and Patrick Filippi and Xiaogang Zhu and Allen Benter and Thomas Bishop and Zhiyong Wang and Kun Hu},
journal= {arXiv preprint arXiv:2605.13181},
year = {2026}
}