中文

深度算子网络的规模下界

机器学习 2024-02-26 v3 计算复杂性 数值分析 偏微分方程分析 数值分析

摘要

深度算子网络(DeepONet)是一种日益流行的范式,用于在无限维空间中求解回归问题,从而一次性求解一族偏微分方程(PDE)。在这项工作中,我们旨在建立一种前所未有的、依赖于数据的深度算子网络规模下界,以使其能够在含噪数据上降低经验误差。具体而言,我们证明,要在 nn 个数据点上获得较低的训练误差,分支网络与主干网络的公共输出维度必须按 Ω(n\leftroot1\uproot14)\Omega \left ( \sqrt[\leftroot{-1}\uproot{-1}4]{n} \right ) 缩放是必要的。这启发了我们利用深度算子网络求解平流-扩散-反应 PDE 的实验,其中我们展示了这样一种可能性:在固定模型规模下,若要利用该公共输出维度的增加而实现训练误差的单调下降,训练数据规模可能至少需要随其呈二次方缩放。

关键词

引用

@article{arxiv.2308.06338,
  title  = {Size Lowerbounds for Deep Operator Networks},
  author = {Anirbit Mukherjee and Amartya Roy},
  journal= {arXiv preprint arXiv:2308.06338},
  year   = {2024}
}

备注

25 pages, 13 figures