深度与特征学习对神经网络判别器具有可证明的益处

我们在$\mathbb{R}^d$上构造分布对$\mu_d, \nu_d$，使得对于某个具有多项式宽度与权重的三年ReLU网络$F$，量$|\mathbb{E}_{x \sim \mu_d} [F(x)] - \mathbb{E}_{x \sim \nu_d} [F(x)]|$以$\Omega(1/d^2)$下降，而如果$F$是任意具有多项式权重的二层网络，则该量随$d$指数下降。这表明深度GAN判别器能够区分浅层判别器无法区分的分布。类似地，我们构造$\mathbb{R}^d$上的分布对$\mu_d, \nu_d$，使得对于具有多项式权重的二层ReLU网络，量$|\mathbb{E}_{x \sim \mu_d} [F(x)] - \mathbb{E}_{x \sim \nu_d} [F(x)]|$以$\Omega(1/(d\log d))$下降，而在相关RKHS中具有有界范数的函数则呈指数下降。这证实了特征学习对判别器有益。我们的界基于傅里叶变换。