Mondrian：基于区域分解的 Transformer 算子

算子学习通过学习函数空间之间的映射，实现了偏微分方程（PDE）的数据驱动建模。然而，由于注意力机制的二次方计算成本及其与离散化的耦合，将基于 Transformer 的算子模型扩展到高分辨率、多尺度域仍然是一个挑战。我们引入了 \textbf{Mondrian}，这是一种将域分解为不重叠子域，并在受限于子域的函数序列上应用注意力的 Transformer 算子。利用区域分解原理，Mondrian 将注意力与离散化解耦。在每个子域内，它用表达力强的神经算子替换标准层，而跨子域的注意力则是通过对函数进行基于 softmax 的内积来计算的。该公式自然地扩展到分层窗口注意力和邻域注意力，同时支持局部和全局交互。Mondrian 在 Allen-Cahn 和 Navier-Stokes 偏微分方程上取得了强劲的性能，并展示了无需重新训练的分辨率缩放能力。这些结果突出了区域分解注意力在可扩展通用神经算子方面的前景。