面向网格仿真的 Transformer 训练
机器学习
2025-08-26 v1
摘要
使用图神经网络（GNNs）进行物理仿真主要由消息传递架构驱动，这些架构在处理大型复杂网格时面临规模和效率挑战。这些架构已催生大量增强，包括多网格方法和 -跳聚合（使用距离为 的邻居），但它们常引入显著复杂度并受限于有限的深入调查。针对这些挑战，我们提出一种新型图 Transformer 架构，利用邻接矩阵作为注意力掩码。该方法包含创新的增强，包括稀疏滑动窗口和全局注意力，以延伸感受野而不牺牲计算效率。通过大量实验，我们评估了模型规模、邻接矩阵增强、位置编码和 -跳配置，采用具有挑战性的 3D 计算流体动力学（CFD）数据集。我们还训练了超过 60 个模型，以在训练 FLOPs 与参数之间找到比例规律。引入的模型在规模方面表现突出，可处理最高达 30 万节点的网格和 300 万条边。值得注意的是，最小模型在速度和大小上分别实现了与 MeshGraphNet 持平，后者快 7 倍且小 6 倍。最大模型平均性能超过前沿水平 38.8%，在所有滚动 RMSE 上比 MeshGraphNet 超越 52%，同时保持类似的训练速度。代码和数据集均可在 https://github.com/DonsetPG/graph-physics 提供。
引用
@article{arxiv.2508.18051,
title = {Training Transformers for Mesh-Based Simulations},
author = {Paul Garnier and Vincent Lannelongue and Jonathan Viquerat and Elie Hachem},
journal= {arXiv preprint arXiv:2508.18051},
year = {2025}
}