Transolver：面向一般几何上偏微分方程的快速 Transformer 求解器
机器学习
2024-06-04 v2 数值分析
数值分析
摘要
Transformer 赋能了各个领域的诸多里程碑，并最近被应用于求解偏微分方程（PDE）。然而，由于 PDE 通常被离散化为具有复杂几何结构的大规模网格，Transformer 很难直接从海量独立点中捕捉复杂的物理相关性。超越表面且笨重的网格，我们基于一种更具基础性的思想提出了 Transolver，即学习离散几何背后隐藏的本征物理状态。具体而言，我们提出了一种新的 Physics-Attention，将离散域自适应地划分为一系列形状灵活的可学习切片，其中处于相似物理状态的网格点将被归入同一切片。通过计算对从切片编码而来的物理感知 token 的注意力，Transolver 能够有效捕捉复杂几何下的复杂物理相关性，这也赋予了求解器内生的一般几何泛化建模能力，并且可以以线性复杂度高效计算。Transolver 在六个标准基准测试上取得了一致的最先进水平，相对提升达 22%，并在大规模工业模拟中表现出色，包括汽车和翼型设计。代码可在 https://github.com/thuml/Transolver 获取。
引用
@article{arxiv.2402.02366,
title = {Transolver: A Fast Transformer Solver for PDEs on General Geometries},
author = {Haixu Wu and Huakun Luo and Haowen Wang and Jianmin Wang and Mingsheng Long},
journal= {arXiv preprint arXiv:2402.02366},
year = {2024}
}