深度神经网络的正则性与量身定制正则化及其在不确定性量化中的参数PDE应用
数值分析
2026-03-04 v4 数值分析
摘要
本文考察以光滑激活函数作为高维函数替身的深度神经网络（DNN），这些函数虽平滑却计算成本高昂。我们考察标准（非周期）DNN，也提出一种针对周期目标函数的新型周期DNN，特别适用于在准蒙特卡罗格点作为训练点的情形。本文的主要贡献是推导DNN所有混合导数相对于其输入参数的显式上界。这些上界取决于神经网络参数以及激活函数的选择，蕾含显式常数。这些上界完全通用，既独立于目标函数，也独立于训练数据。通过对网络参数施加限制以匹配目标函数的正则性特征，我们证明，使用N个量身定制的格点训练点构建的DNN可实现泛化误差（即 近似误差）上界 ，其中 为训练误差在实际中达到的容忍度，，其中 描述目标函数中输入变量衰减特性的序列可和性指数，隐含常数独立于输入数据的维数。我们将分析应用于不确定性量化中的经典参数椭圆PDE模型。数值实验中，我们通过添加量身定制的正则化项限制网络参数，并表明对于一个模拟参数PDE问题的代数方程，采用量身定制正则化训练的DNN表现显著优于无正则化的DNN。
引用
@article{arxiv.2502.12496,
title = {Regularity and tailored regularization of Deep Neural Networks, with application to parametric PDEs in uncertainty quantification},
author = {Alexander Keller and Frances Y. Kuo and Dirk Nuyens and Ian H. Sloan},
journal= {arXiv preprint arXiv:2502.12496},
year = {2026}
}