过参数化基于流形的代理模型与深度神经算子中的影响研究
机器学习
2023-02-17 v1
摘要
为表现出高度非光滑动力学的复杂物理化学过程构建准确且可泛化的逼近器具有挑战性。在本工作中，我们提出了两种有前景方法的新进展并进行了比较：基于流形的多项式混沌展开（m-PCE）与深度神经算子（DeepONet），并考察了过参数化对泛化的影响。我们通过求解具有不确定性源的二维含时 Brusselator 反应扩散系统（模拟两种物质间的自催化化学反应）来展示这些方法在泛化精度方面的性能。我们首先通过构建输入函数与输出 QoI 的两个独立嵌入所形成的潜空间之间的映射，提出了 m-PCE 的扩展。为提升 DeepONet 的精度，我们在损失函数中引入了权重自适应。我们证明，对于相对光滑的输入-输出映射，m-PCE 与 DeepONet 的性能相当；然而当考虑高度非光滑动力学时，DeepONet 展现出更高的精度。我们还发现，对于 m-PCE，适度的过参数化可在分布内与分布外均带来更好的泛化，而激进的过参数化会导致过拟合。相比之下，即便是高度过参数化的 DeepONet，对于光滑与非光滑动力学均能带来更好的泛化。此外，我们将上述模型与另一种算子学习模型 Fourier Neural Operator 的性能进行比较，表明其过参数化同样带来更好的泛化。我们的研究表明，m-PCE 能以极低的训练成本提供非常好的精度，而高度过参数化的 DeepONet 能提供更好的精度与噪声鲁棒性，但训练成本更高。两种方法的推理成本均可忽略不计。
引用
@article{arxiv.2203.05071,
title = {On the influence of over-parameterization in manifold based surrogates and deep neural operators},
author = {Katiana Kontolati and Somdatta Goswami and Michael D. Shields and George Em Karniadakis},
journal= {arXiv preprint arXiv:2203.05071},
year = {2023}
}
备注
28 pages, 7 figures