Transolver 是线性 Transformer: 通过线性注意力视角重访物理注意力
机器学习
2026-01-08 v3 人工智能
摘要
近期 Transformer-based Neural Operator 的进展显著推动了基于数据的偏微分方程 (PDE) 求解器。当前研究多聚焦于降低注意力的二次复杂度，以提升训练和推理效率。在此基础上，Transolver 作为代表性方法引入了物理注意力以降低计算成本。然而，我们观察到物理注意力可被重构为线性注意力的特例，且切片注意力甚至可能损害模型性能。基于这些观察，我们认为其有效性主要源于切片与去切片操作，而非切片之间的相互作用。此启发我们提出一种两步转换，重新设计物理注意力为标准线性注意力，称为线性注意力神经算子 (LinearNO)。本方法在六个标准 PDE 基准测试上实现最先进性能，参数数量平均降低 40.0%，计算成本降低 36.2%。此外，它在两个具有挑战性的工业级数据集 AirfRANS 和 Shape-Net Car 上也表现优异。
关键词
引用
@article{arxiv.2511.06294,
title = {Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention},
author = {Wenjie Hu and Sidun Liu and Peng Qiao and Zhenglun Sun and Yong Dou},
journal= {arXiv preprint arXiv:2511.06294},
year = {2026}
}