基于 Transformer 的偏微分方程多尺度时间步进
机器学习
2024-11-21 v1
摘要
为偏微分方程（PDE）开发快速代理模型将加速几乎所有科学与工程应用中的设计与优化。神经网络已受到越来越多的关注，并在 PDE 的计算建模中展现出显著成功，然而其预测精度尚达不到全面部署的水平。本工作中，我们利用作为众多最先进 AI 模型骨干的 transformer 架构，将物理系统的动力学学习为卷积自编码器所学习的空间模式之混合。此外，我们引入多尺度分层时间步进的思想，以提高预测速度并降低随时间累积的误差。与强大的 Fourier Neural Operator（FNO）及两种基于 transformer 的神经算子 OFormer 和 Galerkin Transformer 相比，我们的模型在预测 Navier-Stokes 方程的时间演化方面取得了相当或更好的结果。
引用
@article{arxiv.2311.02225,
title = {Multi-scale Time-stepping of Partial Differential Equations with Transformers},
author = {AmirPouya Hemmasian and Amir Barati Farimani},
journal= {arXiv preprint arXiv:2311.02225},
year = {2024}
}