用于偏微分方程代理建模的可扩展Transformer
机器学习
2023-11-06 v2
摘要
Transformer已在各种应用中展现出最先进的性能，并最近成为偏微分方程（PDEs）代理建模的一种有前景的工具。尽管引入了线性复杂度注意力，将Transformer应用于具有大量网格点的问题时可能在数值上不稳定且计算昂贵。在这项工作中，我们提出了基于轴向因子化核积分的因子化Transformer（FactFormer）。具体地，我们引入一个可学习的投影算子，将输入函数分解为多个具有一维域的子函数。然后评估这些子函数，并用于通过轴向因子化方案计算基于实例的核。我们展示了所提出的模型能够在256×256网格上模拟2D Kolmogorov流，并在64×64×64网格上以良好的精度和效率模拟3D烟雾浮力。所提出的因子化方案在处理多维问题时，可作为全注意力方案的一种计算高效的低秩代理。
引用
@article{arxiv.2305.17560,
title = {Scalable Transformer for PDE Surrogate Modeling},
author = {Zijie Li and Dule Shu and Amir Barati Farimani},
journal= {arXiv preprint arXiv:2305.17560},
year = {2023}
}