蒙特卡洛算法的深度神经网络逼近
数值分析
2022-06-29 v1 机器学习
数值分析
偏微分方程分析
概率论
摘要
近来，文献中提出了将深度神经网络（DNNs）与随机梯度下降方法结合以逼近PDE解的方案。文献中也有少数结果证明，DNNs能够在无维度灾难的意义下逼近某些PDE的解，即用于描述DNN的实数参数数量在PDE维度和给定逼近精度的倒数上至多多项式增长。大多数此类结果中的一个关键论证是：首先使用蒙特卡洛逼近格式在固定时空点以无维度灾难的方式逼近所考虑的PDE解，然后证明DNNs足够灵活以模拟所用逼近格式的行为。鉴于此，人们可以致力于一个一般的抽象结果，在适当假设下表明若某函数可被任意类型的（蒙特卡洛）逼近格式无维度灾难地逼近，则该函数也可被DNNs无维度灾难地逼近。本文的一个关键贡献是朝此方向迈出第一步。特别地，本文的主要结果本质上表明：若一个函数可通过某种合适的离散逼近格式无维度灾难地逼近，且存在满足某些正则性性质并能无维度灾难地逼近该离散逼近格式的DNNs，则该函数本身也可被DNNs无维度灾难地逼近。作为该结果的应用，我们确立了合适的Kolmogorov PDE的解可被DNNs无维度灾难地逼近。
引用
@article{arxiv.1908.10828,
title = {Deep neural network approximations for Monte Carlo algorithms},
author = {Philipp Grohs and Arnulf Jentzen and Diyora Salimova},
journal= {arXiv preprint arXiv:1908.10828},
year = {2022}
}
备注
45 pages