用于奇异摄动的神经网络

我们证明了深度神经网络 (DNN) 在有界区间 $(-1,1)$ 上，对于一类模型奇异摄动椭圆型两点边值问题的解集，在 Sobolev 范数下的表达率界。我们假设给定的源项和反应系数在 $[-1,1]$ 上是解析的。我们针对几类 DNN 架构，建立了在 Sobolev 范数下关于神经网络大小的表达率界，这些界对奇异摄动参数是一致的。特别是 ReLU 神经网络、脉冲神经网络以及 $\tanh$ 和 sigmoid 激活的神经网络。后两种激活函数可以在 DNN 的最后一个隐藏层，即在一个浅层子网络中，显式地表示“指数边界层解特征”，并提供了关于神经网络大小的改进的鲁棒表达率界。我们证明了所有 DNN 架构都允许在所谓的“能量”以及“平衡” Sobolev 范数下，对解析输入数据进行鲁棒的指数解表达。