面向地球系统变换器的场空间注意力结构保持设计
机器学习
2025-12-24 v1 计算机视觉与模式识别
数学物理
math.MP
摘要
准确且物理一致的地球系统动力学建模需要直接作用于连续地理场并保持其底层几何结构的机器学习架构。我们引入 Field-Space 注意力机制，用于地球系统变换器，在物理域而非学习的潜在空间中计算注意力。通过保持所有中间表示作为球面上的连续场，架构实现了可解释的内部状态，便于纳入科学约束。该模型采用固定非学习的多尺度分解，学习输入场的结构保持变形，允许在粗粒度和细粒度信息之间进行连贯集成，同时避免标准单尺度 Vision Transformer 所特有的优化不稳定性。应用于 HEALPix 网格上的全球温度超分辨率，Field-Space 变换器比常规 Vision 变换器和 U-Net 基线在收敛速度和稳定性方面更快更稳，同时所需参数显著更少。该方法在整个网络中显式保持场结构，允许将物理和统计先验直接嵌入架构中，提高了数据驱动地球系统建模的保真度和可靠性。这些结果将 Field-Space 注意力定位为下一代地球系统预测和生成式建模框架的紧凑、可解释且物理导向的构建模块。
引用
@article{arxiv.2512.20350,
title = {Field-Space Attention for Structure-Preserving Earth System Transformers},
author = {Maximilian Witte and Johannes Meuer and Étienne Plésiat and Christopher Kadow},
journal= {arXiv preprint arXiv:2512.20350},
year = {2025}
}