当注意力优于傅里叶：不规则域上基于多尺度 Transformer 的 PDE 求解

我们研究了用于求解偏微分方程（PDE）的深度学习模型架构选择问题，探讨基于注意力的 Transformer 架构在何时能超过傅里叶域神经算子。我们引入了多尺度注意力 Transformer（Multi-Scale Attention Transformer, MSAT），该架构将时空解程史编码为 token 序列，通过包含可选物理正则化项的复合监督目标端到端训练。我们在 PINNacle 套件的五个基准问题上，对比九种基线方法——包括物理信息神经网络（PINNs）、神经算子（FNO、DeepONet、GNOT）和时序模型（Mamba-NO），所有方法使用相同的训练/测试划分和参考数据。MSAT 在复杂几何问题上实现最佳泛化性能（Heat2D-CG 上 $L^2_\mathrm{rel} = 0.0101$，相较 FNO 提升 3.7 倍），推理时间为 34 秒，而 Mamba-NO 需 120,812 秒。对物理正则化组件进行消融实验揭示，物理先验在扩散主导问题中降低测试误差，但在混沌和循环流场景下降低泛化能力，直接刻画了先验误指定界。域边界复杂度 $\kappa$ 作为函数的近似误差界为这些实验结果提供理论依据，并为架构选择提供原则化规则。