GNOT：一种用于算子学习的通用神经算子 Transformer
机器学习
2023-06-16 v3 数值分析
数值分析
计算物理
摘要
学习偏微分方程（PDEs）的解算子是机器学习中的一个基本问题。然而，在实际应用中学习算子面临若干挑战，如非规则网格、多输入函数以及 PDE 解的复杂性。为应对这些挑战，我们提出了一种通用神经算子 Transformer（GNOT），这是一个基于 Transformer 的可扩展且高效的学习算子框架。通过设计一种新颖的异构归一化注意力层，我们的模型可高度灵活地处理多输入函数与非规则网格。此外，我们引入了几何门控机制，可视为一种软域分解，用于求解多尺度问题。Transformer 架构的大模型容量使我们的模型有可能扩展到大型数据集与实际问题。我们在来自不同领域的多个具有挑战性的数据集上进行了大量实验，与替代方法相比取得了显著提升。我们的代码与数据已公开于 \url{https://github.com/thu-ml/GNOT}。
引用
@article{arxiv.2302.14376,
title = {GNOT: A General Neural Operator Transformer for Operator Learning},
author = {Zhongkai Hao and Zhengyi Wang and Hang Su and Chengyang Ying and Yinpeng Dong and Songming Liu and Ze Cheng and Jian Song and Jun Zhu},
journal= {arXiv preprint arXiv:2302.14376},
year = {2023}
}