Mamba 神经算子：变 Transformer 与状态空间模型在偏微分方程中的对决
机器学习
2026-03-12 v3 数值分析
数值分析
摘要
偏微分方程 (PDE) 广泛用于建模复杂物理系统，但其高效求解仍是一大挑战。最近，Transformer 因其捕捉复杂依赖关系的能力而成为求解 PDE 的首选架构。然而，Transformer 在表示连续动力学和长程相互作用方面存在局限。为克服这些限制，我们提出了 Mamba 神经算子 (MNO)，这是一种新颖的框架，旨在增强神经算子技术以求解 PDE。MNO 在结构化状态空间模型 (SSM) 与神经算子之间建立了形式化的理论联系，提供了一种可适应多种架构（包括基于 Transformer 的模型）的统一结构。通过利用 SSM 的结构化设计，MNO 比传统 Transformer 更有效地捕捉长程依赖和连续动力学。通过广泛分析，我们表明 MNO 显著提升了神经算子的表达能力和准确性，使其不仅是补充品，更是 PDE 相关任务中更优越的框架，弥合了高效表示与准确解近似之间的鸿沟。我们的代码已在 https://github.com/Math-ML-X/Mamba-Neural-Operator 上提供。
引用
@article{arxiv.2410.02113,
title = {Mamba Neural Operator: Who Wins? Transformers vs. State-Space Models for PDEs},
author = {Chun-Wun Cheng and Jiahao Huang and Yi Zhang and Guang Yang and Carola-Bibiane Schönlieb and Angelica I. Aviles-Rivero},
journal= {arXiv preprint arXiv:2410.02113},
year = {2026}
}
备注
Accepted in Journal of Computational Physics 2025