预训练余域注意力神经算子用于求解多物理场偏微分方程
机器学习
2024-11-04 v3
摘要
现有的神经算子架构在求解具有耦合偏微分方程（PDE）的多物理场问题时，面临复杂几何形状、物理变量间相互作用以及高分辨率训练数据量有限等挑战。为解决这些问题，我们提出了余域注意力神经算子（CoDA-NO），该算子沿余域或通道空间对函数进行分词，从而支持多个PDE系统的自监督学习或预训练。具体而言，我们将位置编码、自注意力和归一化层扩展到函数空间。CoDA-NO能够用单一模型学习不同PDE系统的表示。我们通过考虑少样本学习设置，评估了CoDA-NO作为学习多个系统多物理场PDE的骨干网络的潜力。在数据有限的下游复杂任务中，如流体流动模拟、流固耦合和瑞利-贝纳德对流，我们发现CoDA-NO的性能优于现有方法超过36%。
引用
@article{arxiv.2403.12553,
title = {Pretraining Codomain Attention Neural Operators for Solving Multiphysics PDEs},
author = {Md Ashiqur Rahman and Robert Joseph George and Mogab Elleithy and Daniel Leibovici and Zongyi Li and Boris Bonev and Colin White and Julius Berner and Raymond A. Yeh and Jean Kossaifi and Kamyar Azizzadenesheli and Anima Anandkumar},
journal= {arXiv preprint arXiv:2403.12553},
year = {2024}
}