线性注意力耦合傅里叶神经算子用于三维湍流模拟

利用神经网络对三维（3D）湍流进行建模十分困难，因为三维湍流高度非线性且自由度大，相应的模拟对内存需求极高。近来，注意力机制已被证明是提升神经网络在湍流模拟上性能的一种有前景的方法。然而，标准自注意力机制相对于输入维度 $n$ 具有 $O(n^2)$ 的时间和空间复杂度，这种二次复杂度已成为注意力应用于三维湍流模拟的主要瓶颈。本工作中，我们利用线性注意力网络的概念解决了该问题。线性注意力通过加入两个线性投影来近似标准注意力，将整体自注意力的时间和空间复杂度从 $O(n^2)$ 降至 $O(n)$。我们开发了线性注意力耦合傅里叶神经算子（LAFNO）用于三维湍流模拟。数值模拟表明，在相同计算成本下线性注意力机制可带来 40% 的误差降低，且 LAFNO 能准确重建三维湍流的各种统计量与瞬时空间结构。该线性注意力方法有助于改进其他科学领域中涉及高维数据的三维非线性问题的神经网络模型。