裁剪 ReLU 网络经验风险最小化求解线性 Kolmogorov 偏微分方程的误差分析
数值分析
2024-06-25 v2 数值分析
摘要
深度学习算法已成功应用于数值求解线性 Kolmogorov 偏微分方程（PDEs）。近期研究表明，若初始函数有界，在裁剪 ReLU 网络上的经验风险最小化（ERM）在求解线性 Kolmogorov PDE 时具有良好泛化性。本文提出使用截断技术，将泛化结果推广至多项式增长初始函数。具体而言，我们证明在某一假设下，以置信水平 达到 内泛化误差所需的样本量，在裁剪神经网络规模以及 上多项式增长，这意味着打破了维度灾难。此外，我们验证了所需假设对 Black-Scholes PDEs 与热方程——线性 Kolmogorov PDEs 的两个重要特例——均成立。对于逼近误差，在特定假设下，我们建立了裁剪 ReLU 神经网络逼近 Kolmogorov PDE 解时的逼近结果。进而，我们证实在人工神经网络上的 ERM 确实对更大一类线性 Kolmogorov PDEs 克服了维度灾难。
引用
@article{arxiv.2310.12582,
title = {Error analysis for empirical risk minimization over clipped ReLU networks in solving linear Kolmogorov partial differential equations},
author = {Jichang Xiao and Xiaoqun Wang},
journal= {arXiv preprint arXiv:2310.12582},
year = {2024}
}