高效受 Transformer 启发的物理导向深度算子网络变体
机器学习
2025-09-03 v1 数值分析
数值分析
机器学习
摘要
算子学习已成为加速偏微分方程 (PDE) 求解的有前景的工具。深度算子网络 (DeepONets) 代表了该领域的开创性框架：“基础”DeepONet 以其简单性和效率为受欢迎，而经过修改的 DeepONet 在牺牲训练时间效率的同时实现更高精度。在本工作中，我们提出了一系列受 Transformer 启发的 DeepONet 变体，在 DeepONet 的分支网络和主干网络之间引入双向交叉条件。查询点信息被注入分支网络，而输入函数信息被注入主干网络，从而实现动态依赖，同时以非侵入方式保留“基础”DeepONet 的简单性和效率。对四个 PDE 框架——对流、扩散-反应、布尔方程和科尔韦-德 Vries方程的实验表明，对于每种情况，都存在一种变体，其准确率相当或优于修改后的 DeepONet，同时提供更好的训练效率。此外，每个方程的最佳表现变体都自然地与该方程的底层特征相吻合，这表明交叉条件的有效性取决于方程及其底层物理特征的特征。为确保鲁棒性，我们通过一系列严格的统计分析来验证我们变体的有效性，其中包括 Wilcoxon 双侧检验、Glass 的 Delta 以及 Spearman 秩相关。
引用
@article{arxiv.2509.01679,
title = {Efficient Transformer-Inspired Variants of Physics-Informed Deep Operator Networks},
author = {Zhi-Feng Wei and Wenqian Chen and Panos Stinis},
journal= {arXiv preprint arXiv:2509.01679},
year = {2025}
}
备注
Code will be released upon acceptance