用带整流幂单元的深度神经网络更好地逼近高维光滑函数

带线性整流单元(rectified linear units, ReLU)的深度神经网络因其通用表示能力及成功应用而日益流行。近期，[D. Yarotsky, Neural Network, 94:103-114, 2017]与[H. Montanelli and Q. Du, SIAM J Math. Data Sci., 1:78-92, 2019]等就深度ReLU网络对Sobolev空间与Korobov空间中函数的逼近能力取得了若干理论进展。在本文中，我们证明带整流幂单元(rectified power units, RePU)的深度网络能比深度ReLU网络更好地逼近光滑函数。我们的分析基于经典多项式逼近理论以及本文提出的一些高效算法，这些算法能将多项式转化为尺寸最优且无逼近误差的深度RePU网络。与ReLU网络的结果相比，通过我们的构造性证明，为以误差容限 $\varepsilon$ 逼近Sobolev空间与Korobov空间中的函数，所需RePU网络的尺寸通常比现有文献中构造的相应ReLU网络尺寸小 $\mathcal{O}(\log\frac{1}{\varepsilon})$ 倍。与Mhaskar的经典结果[Mhaskar, Adv. Comput. Math. 1:61-80, 1993]相比，我们的构造使用了更少的激活函数且数值上更稳定，它们可作为深度RePU网络的良好初始化并进一步训练以突破线性逼近理论的限制。由RePU网络表示的函数是光滑函数，因此它们自然适用于损失函数中涉及导数的场合。