BCAT：用于流体动力学 PDE 基础模型的块因果 Transformer
机器学习
2025-05-01 v2 数值分析
数值分析
摘要
我们引入了 BCAT，这是一种为二维流体动力学问题的解的自回归预测而设计的 PDE 基础模型。该方法使用块因果 Transformer 架构对下一帧预测进行建模，利用先前的帧作为上下文先验，而不是仅仅依赖图像生成方法中常用的子帧或基于像素的输入。这种块因果框架能更有效地捕捉非线性时空动力学和物理现象中固有的空间依赖性。在消融研究中，下一帧预测比下一 token 预测的准确率提高了 3.5 倍。BCAT 在多种流体动力学数据集上进行了训练，包括各种几何形状和参数区间下的不可压缩和可压缩 Navier-Stokes 方程，以及浅水方程。该模型的性能在 6 个不同的下游预测任务上进行了评估，并在约 8K 条轨迹上进行了测试，以衡量其在各种流体动力学模拟中的鲁棒性。BCAT 在所有评估任务中取得了 1.18% 的平均相对误差，在标准基准上优于先前的方法。通过在湍流数据集上进行微调，我们表明该方法能够适应新环境，准确率比先前方法提高了 40% 以上。
引用
@article{arxiv.2501.18972,
title = {BCAT: A Block Causal Transformer for PDE Foundation Models for Fluid Dynamics},
author = {Yuxuan Liu and Jingmin Sun and Hayden Schaeffer},
journal= {arXiv preprint arXiv:2501.18972},
year = {2025}
}