基于深度神经网络逼近 Banach 值高维函数的近最优学习

过去十年中，将深度学习（DL）应用于计算科学与工程（CSE）的兴趣日益增长。受计算机视觉、不确定性量化（UQ）、遗传学、仿真和图像处理等应用中令人印象深刻的成果推动，DL 正日益取代经典算法，并似乎有望革新科学计算。然而，从数值分析的角度看，DL 尚未被充分理解。关于 DL 在稳定性、鲁棒性、准确性和样本复杂度方面的效率与可靠性所知甚少。特别地，逼近参数化 PDE 的解是 CSE 中 UQ 的一个目标。此类问题的训练数据往往稀缺且受误差污染。此外，目标函数是一个可能无限维的光滑函数，取值于 PDE 解空间（通常为无限维 Banach 空间）。本文给出了使用深度神经网络（DNN）逼近此类函数（具有已知和未知参数依赖）的论证，克服了维数灾难。我们建立了实用存在性定理，描述了具有维度无关架构规模的 DNN 类，以及基于最小化（正则化）$\ell^2$-损失的训练过程，其实现了近最优的代数收敛速率。这些结果涉及压缩感知用于 Banach 值恢复以及用 DNN 进行多项式仿真的关键推广。在逼近参数化 PDE 解时，我们的结果考虑了所有误差来源，即采样、优化、逼近和物理离散化，并允许从粗粒度样本数据训练高保真 DNN 逼近。我们的理论结果属于非侵入式方法范畴，为经典高维逼近方法提供了理论替代方案。