深度神经网络的高阶拟蒙特卡洛训练
数值分析
2020-09-08 v1 机器学习
数值分析
摘要
我们提出了一种新颖的算法途径和误差分析，利用拟蒙特卡洛点训练深度神经网络（DNN）作为工程设计中数据到观测（DtO）映射的代理模型。我们的分析揭示了对于具有 tanh 等全纯激活函数的深度和浅层神经网络，在输入数据空间中选择训练点的高阶一致确定性方案。证明了这些新颖训练点有助于底层泛化误差（就训练样本数量而言）的高阶衰减，且一致性误差界在输入数据空间中免于维数灾难，前提是隐藏层中的 DNN 权重满足某些可和性条件。我们给出了来自具有不确定输入的椭圆和抛物型偏微分方程的 DtO 映射的数值实验，证实了理论分析。
引用
@article{arxiv.2009.02713,
title = {Higher-order Quasi-Monte Carlo Training of Deep Neural Networks},
author = {M. Longo and S. Mishra and T. K. Rusch and Ch. Schwab},
journal= {arXiv preprint arXiv:2009.02713},
year = {2020}
}