用于算子学习的集成与混合专家 DeepONet
机器学习
2025-03-18 v5
摘要
我们提出了一种用于算子学习的新型深度算子网络（DeepONet）架构，即集成 DeepONet，它允许用多个不同的主干网络来丰富单个 DeepONet 的主干网络。这种主干网络丰富化使其在一系列算子学习问题上具备更强的表达能力和泛化能力。我们还提出了一种空间混合专家（MoE）DeepONet 主干网络架构，该架构利用单位分解（PoU）近似来促进算子学习问题中的空间局部性和模型稀疏性。我们首先证明了集成 DeepONet 和 PoU-MoE DeepONet 均为通用近似器。随后我们证明，包含标准主干、PoU-MoE 主干和/或本征正交分解（POD）主干的集成 DeepONet，在涉及二维和三维偏微分方程（PDE）的标准及具有挑战性的新算子学习问题上，其相对 误差可比标准 DeepONet 和 POD-DeepONet 低 2 至 4 倍。我们新的 PoU-MoE 公式化提供了一种将空间局部性和模型稀疏性引入任意神经网络架构的自然方式，而新的集成 DeepONet 则为在面向算子学习的科学机器学习架构中引入基函数丰富化提供了一个强大且通用的框架。
引用
@article{arxiv.2405.11907,
title = {Ensemble and Mixture-of-Experts DeepONets For Operator Learning},
author = {Ramansh Sharma and Varun Shankar},
journal= {arXiv preprint arXiv:2405.11907},
year = {2025}
}
备注
Accepted at Transactions of Machine Learning Research (TMLR) 2025