深度算子网络的规模下界
机器学习
2024-02-26 v3 计算复杂性
数值分析
偏微分方程分析
数值分析
摘要
深度算子网络(DeepONet)是一种日益流行的范式,用于在无限维空间中求解回归问题,从而一次性求解一族偏微分方程(PDE)。在这项工作中,我们旨在建立一种前所未有的、依赖于数据的深度算子网络规模下界,以使其能够在含噪数据上降低经验误差。具体而言,我们证明,要在 个数据点上获得较低的训练误差,分支网络与主干网络的公共输出维度必须按 缩放是必要的。这启发了我们利用深度算子网络求解平流-扩散-反应 PDE 的实验,其中我们展示了这样一种可能性:在固定模型规模下,若要利用该公共输出维度的增加而实现训练误差的单调下降,训练数据规模可能至少需要随其呈二次方缩放。
引用
@article{arxiv.2308.06338,
title = {Size Lowerbounds for Deep Operator Networks},
author = {Anirbit Mukherjee and Amartya Roy},
journal= {arXiv preprint arXiv:2308.06338},
year = {2024}
}
备注
25 pages, 13 figures