理解带修正线性单元的重量归一化深度神经网络

本文提出了一种针对 $L_{p,q}$ 重量归一化深度神经网络基于范数的容量控制的通用框架。我们建立了该类网络的 Rademacher 复杂度的上界。在 $q\le p^*$、$1/p+1/p^{*}=1$ 的 $L_{p,q}$ 归一化下，我们讨论了与宽度无关的容量控制的特性，其仅通过平方根项依赖于深度。我们进一步分析了 $L_{p,q}$ 重量归一化深度神经网络的逼近性质。特别地，对于 $L_{1,\infty}$ 重量归一化网络，逼近误差可由输出层的 $L_1$ 范数控制，且相应的泛化误差仅通过深度的平方根依赖于架构。