CATO：用于神经 PDE 算子的数据化注意力
人工智能
2026-05-12 v1 机器学习
数值分析
数值分析
摘要
神经算子已成为求解偏微分方程（PDE）的强大数据驱动方法，显著加速于经典数值方法。然而，现有的基于 Transformer 的算子在建模复杂几何上的 PDE 时仍面临关键挑战：直接处理大量网格点计算昂贵，而在原始离散坐标中操作可能掩盖了物理相互作用更自然表达的内在几何。为此，我们引入 Charted Axial Transformer Operator（CATO），一种几何自适应且感知导数的神经算子，用于一般几何上的 PDE。CATO 不直接在物理坐标系中应用注意力，而是学习连续潜在图将网格坐标映射到学习图空间，在该图空间中，图条件轴注意力以较低计算成本捕获长程依赖。此外，CATO 引入一种导数感知的物理损失用于稳态 PDE，该损失联合监督解的值、网格一致的梯度以及一个辅助的类通量场，提高了物理保真度并减少了过平滑。我们进一步提供了理论逼近结果，表明在 favorable 图条件下，图轴注意力可以以受控误差表示低秩轴解算子，小图扰动导致受限的逼近退化。CATO 在所有评估数据集上实现了最佳性能，平均约提升 26.76% 相对于最强的竞争基线，同时参数数量减少 81.98%。这些结果凸显了学习几何自适应图和导数感知物理监督对于准确且高效的 PDE 算子学习的有效性。
引用
@article{arxiv.2605.09016,
title = {CATO: Charted Attention for Neural PDE Operators},
author = {Chun-Wun Cheng and Sifan Wang and Carola-Bibiane Schönlieb and Angelica I. Aviles-Rivero},
journal= {arXiv preprint arXiv:2605.09016},
year = {2026}
}