低秩空间注意力：神经算子中简单而有效的方法
机器学习
2026-04-07 v1
摘要
神经算子已成为求解偏微分方程 (PDE) 的数据驱动替代模型，其成功依赖于高效建模由基本物理引起的空间点间的长程、全局耦合。在许多 PDE 场景中，由此产生的全局相互作用核经验上可压缩，呈现快速谱衰减，可接受低秩近似。我们利用这一观察，将神经算子中的代表性全局混合模块统一归入共享低秩模板：将高维点特征压缩至紧凑的潜在空间，在其中处理全局相互作用，再恢复全局上下文到空间点。基于此视角，我们引入低秩空间注意力 (LRSA) 作为该模板的简洁直接实现。关键在于，与依赖非标准聚合或归一化模块的先前方法不同，LRSA 完全基于标准 Transformer 原语构建，即注意力、归一化和前馈网络，yielding 一个简洁的模块，易于实现且可直接适配硬件优化内核。在实验中，这种简约构建足以实现高精度，相对于第二名方法平均误差降低超过 ，在混合精度训练中保持稳定且高效。
关键词
引用
@article{arxiv.2604.03582,
title = {Simple yet Effective: Low-Rank Spatial Attention for Neural Operators},
author = {Zherui Yang and Haiyang Xin and Tao Du and Ligang Liu},
journal= {arXiv preprint arXiv:2604.03582},
year = {2026}
}